Google AI Edge Gallery: üretken yapay zekâ telefonunda, çevrimdışı da

Ürüne Genel Bakış

Google AI Edge Gallery, Android ve iOS cihazların Gemma 3n dahil üretken yapay zekâ modellerini doğrudan kendi donanımlarında çalıştırmasını sağlayan, Google'ın deneysel açık kaynak uygulamasıdır. Bulut tabanlı asistanların aksine çıkarımı telefonda tutar: Hugging Face üzerinden cihaz üstü modelleri inceleyip indirirsiniz ve sonrasında hiç bağlantı olmadan sohbet edebilir, görseller hakkında soru sorabilir, sesi yazıya dökebilir ve kod üretebilirsiniz; çünkü veriler cihazdan çıkmaz.

Gizliliğine önem veren kullanıcılar ve cihaz üstü yapay zekâyı test etmek isteyen geliştiriciler için uygulama hazır bir deneme alanı sunar. Yerleşik ölçüm paneli ilk token süresini (TTFT), çözme hızını ve bellek kullanımını gösterir; cihaz üstü fonksiyon çağırma ise modelin yerel araçları ve fonksiyonları kullanmasını sağlar.

Temel Özellikler

• Cihaz üstü çevrimdışı çıkarım: Gemma 3n gibi üretken modelleri telefonda tamamen çevrimdışı çalıştırır; sohbet, soru yanıtlama ve kod üretimi ağ olmadan da sürer.

• Çok modlu etkileşim: Metin sohbeti, görsel anlama ve görsel sorular, ses dosyası yazıya dökme ve kod üretimi tek uygulamada.

• Model keşfi ve yönetimi: Hugging Face'e bağlanarak mobil cihazda çalışmaya uygun açık modelleri inceler, filtreler ve indirir.

• Gizlilik odaklı tasarım: Çıkarımın her adımı yerelde gerçekleşir, bu yüzden hassas içeriği buluta yüklemek gerekmez.

• Gerçek zamanlı performans ölçümü: Yerleşik panel ilk token süresini, çözme hızını ve bellek kullanımını anlık olarak gösterir.

• Cihaz üstü fonksiyon çağırma: Modeller yerel araçları ve fonksiyonları çağırabilir, böylece daha akıllı otomasyon mümkün olur.

• Platformlar arası destek: Android ve iOS için yerel mobil deneyimle sunulur.

Google AI Edge Gallery Nasıl Kullanılır

1. Uygulamayı kurun: Google AI Edge Gallery'yi bir Android veya iOS cihaza indirin ve ilk açılışta kısa izin ayarını tamamlayın.
2. Modelleri inceleyin: cihaz üstü kullanıma uygun Hugging Face açık modellerini görmek için listeyi açın ve ad, boyut veya yeteneğe göre filtreleyin.
3. Model indirin: Gemma 3n gibi bir modeli seçip cihaza indirin. Bu adım bağlantı gerektirir; sonrasında model telefonda kalır.
4. Görev modu seçin: yapay zekâ sohbeti, görsel sorular, ses yazıya dökme ve kod üretimi arasında geçiş yapın.
5. Yerel çıkarımı çalıştırın: bir istem yazın, görsel ekleyin veya ses dosyası seçin. Her şey cihazda işlenir ve uçak modunda da çalışır.
6. Ölçümleri kontrol edin: performans panelini açarak ilk token süresini, çözme hızını ve bellek kullanımını okuyun.
7. Fonksiyon çağırmayı deneyin (isteğe bağlı): modelin karmaşık otomasyonlarda yerel araçları çağırması için etkinleştirin.

Kullanım Senaryoları

• Hassas işler: buluta gönderilmemesi gereken sözleşmeler, tıbbi notlar veya şirket içi belgeler telefonda özetlenip analiz edilebilir.
• Cihaz üstü yapay zekâ doğrulaması: geliştiriciler uygulama için model seçmeden önce gerçek donanımda boyut, gecikme ve belleği ölçer.
• Ağ olmayan veya zayıf ortamlar: seyahat, saha çalışması veya uçuşlarda bağlantı olmasa da yapay zekâ sohbeti ve belge işleme sürer.
• Öğrenme ve araştırma: aynı telefonda farklı açık modelleri karşılaştırarak cihaz üstü çıkarımın gerçek sınırlarını anlayın.

Sınırlamalar

• Uygulama deneysel ve açık kaynak olduğundan özellikler ve arayüz sürümler arasında değişebilir.
• Gerçek performans telefonun yonga setine ve belleğine bağlıdır; büyük modeller daha güçlü donanım gerektirir.
• Modellerin çevrimdışı çalışması için önce bağlantıyla indirilmesi gerekir, bu yüzden depolama alanı ayırın.
• Cihaz işlem gücüyle sınırlı oldukları için cihaz üstü modeller karmaşık akıl yürütme ve bilgi genişliğinde bulut modellerinin gerisinde kalabilir; önemli sonuçları doğrulayın.