Gemma 4 modelleri, Google’ın gelişmiş Gemini yapay zeka teknolojisinin temelini oluşturan altyapıyla benzer bir mimariye sahip. Gemini modelleri, Google’ın büyük veri merkezlerinde bulunan özel TPU çiplerinde çalışacak şekilde optimize edilmiş durumda. Ancak Gemma, kullanıcıların bu teknolojiyi kendi yerel donanımlarında, verilerini bulut sistemlerine aktarmadan çalıştırmalarına olanak tanıyor. Bu özellik, özellikle gizliliğe önem veren ve verilerini yerel sistemlerde tutmak isteyen kullanıcılar için büyük bir avantaj sağlıyor.
Google Gemma 4 Neler Sunuyor?
Google, Gemma 4 ile birlikte lisans politikasında da değişikliğe giderek Apache 2.0 lisansına geçiş yaptı. Bu yeni lisans yapısı, önceki sürümlerde kullanılan özel lisanslara göre çok daha geniş bir kullanım alanı ve esneklik sunuyor. Bu sayede geliştiriciler, Gemma 4’ü projelerinde daha serbest bir şekilde kullanabilecek ve geliştirebilecekler. Ancak yerel sistemlerde çalışan modeller, kurumsal donanımların sunduğu yüksek bant genişlikli bellek (HBM) avantajına sahip değil. Bu durum, işlemcilerin parametreleri VRAM’den hesaplama birimlerine taşırken vakit kaybetmesine ve işlem döngülerinin verimsiz kullanılmasına yol açıyor.
MTP teknolojisi, geleneksel büyük dil modellerinin (LLM) çalışma prensiplerinde devrim yaratıyor. Geleneksel modeller, token adı verilen birimleri otoregresif bir yapıda, yani her seferinde bir tane olacak şekilde üretiyor. Her bir token, içerik ne olursa olsun aynı miktarda hesaplama gücü gerektiriyor. MTP teknolojisi ise bu noktada devreye girerek ağır modelin yükünü hafifletiyor ve daha hafif bir drafter modeli aracılığıyla spekülatif tokenlar oluşturuyor. Bu sayede, ana modelin işlem yükü azalırken, token üretim hızı artıyor.
Gemma 4 E2B gibi sadece 74 milyon parametreye sahip olan bu küçük modeller, spekülatif token üretimini hızlandırmak için özel olarak optimize edildi. Drafter modelleri, ana modelin halihazırda üzerinde çalıştığı bağlamı yeniden hesaplamamak için ana modelle aynı anahtar-değer önbelleğini paylaşıyor. Ayrıca E2B ve E4B drafter modelleri, olası token kümelerini daraltmak amacıyla seyrek kod çözme tekniğini kullanıyor. Bu teknikler sayesinde, NVIDIA RTX PRO 6000 gibi donanımlarda yapılan testlerde, çıktı kalitesinden ödün vermeden bekleme süresinin yarıya indirildiği gözlemleniyor. Bu da demek oluyor ki, kullanıcılar yapay zeka uygulamalarını daha hızlı ve verimli bir şekilde kullanabilecekler.
Yapay zeka teknolojilerinin yerel donanımlarda bu denli hızlanması, kullanım alışkanlıklarımızda önemli değişikliklere yol açabilir. Özellikle gizlilik endişesi taşıyan ve verilerini yerel sistemlerde tutmak isteyen kullanıcılar için bu gelişme büyük bir avantaj sunuyor. Google’ın Gemma 4 ile başlattığı bu hamle, yapay zeka dünyasında yeni bir dönemin başlangıcı olabilir. MTP teknolojisinin yaygınlaşmasıyla birlikte, yapay zeka uygulamalarının daha erişilebilir ve kullanıcı dostu hale gelmesi bekleniyor. Bu da günlük hayatımızda yapay zekanın daha fazla yer almasına olanak sağlayacaktır.
