Google AI Edge Gallery: AI generatif di ponsel, tetap jalan tanpa internet

Ringkasan Produk

Google AI Edge Gallery adalah aplikasi eksperimental open source dari Google yang memungkinkan perangkat Android dan iOS menjalankan model AI generatif langsung pada perangkat kerasnya sendiri, termasuk Gemma 3n. Berbeda dari asisten berbasis cloud, aplikasi ini menjaga inferensi di ponsel: Anda menelusuri dan mengunduh model perangkat dari Hugging Face, lalu dapat mengobrol, bertanya tentang gambar, mentranskripsikan audio, dan membuat kode tanpa koneksi apa pun, karena data tidak keluar dari perangkat.

Bagi pengguna yang peduli privasi dan pengembang yang ingin menguji AI di perangkat, aplikasi ini menjadi laboratorium siap pakai. Panel metrik bawaan menampilkan waktu hingga token pertama (TTFT), kecepatan dekode, dan penggunaan memori, sementara function calling di perangkat memungkinkan model memanggil alat dan fungsi lokal.

Fitur Utama

• Inferensi lokal tanpa koneksi: Menjalankan model generatif seperti Gemma 3n sepenuhnya offline di ponsel, sehingga obrolan, tanya jawab, dan pembuatan kode tetap bekerja tanpa jaringan.

• Interaksi multimodal: Obrolan teks, pemahaman gambar dengan pertanyaan visual, transkripsi audio, dan pembuatan kode dalam satu aplikasi.

• Penemuan dan pengelolaan model: Terhubung ke Hugging Face untuk menelusuri, memfilter, dan mengunduh model terbuka yang cocok dijalankan di perangkat seluler.

• Desain mengutamakan privasi: Setiap langkah inferensi berjalan lokal, sehingga konten sensitif tidak perlu diunggah ke cloud.

• Metrik kinerja waktu nyata: Dasbor bawaan menampilkan waktu hingga token pertama, kecepatan dekode, dan penggunaan memori secara langsung.

• Function calling di perangkat: Model dapat memanggil alat dan fungsi lokal sehingga otomatisasi menjadi lebih cerdas.

• Dukungan lintas platform: Tersedia untuk Android dan iOS dengan pengalaman seluler native.

Cara Menggunakan Google AI Edge Gallery

1. Pasang aplikasi: unduh Google AI Edge Gallery di perangkat Android atau iOS dan selesaikan pengaturan izin singkat saat pertama dibuka.
2. Telusuri model: buka daftar model untuk melihat model terbuka Hugging Face yang cocok di perangkat, lalu filter menurut nama, ukuran, atau kemampuan.
3. Unduh model: pilih model seperti Gemma 3n dan unduh ke perangkat. Langkah ini memerlukan koneksi; setelah itu model tetap tersimpan di ponsel.
4. Pilih mode tugas: berganti antara obrolan AI, pertanyaan gambar, transkripsi audio, dan pembuatan kode.
5. Jalankan inferensi lokal: tulis perintah, unggah gambar, atau pilih berkas audio. Semua diproses di perangkat dan tetap berjalan dalam mode pesawat.
6. Periksa metrik: buka panel kinerja untuk melihat waktu hingga token pertama, kecepatan dekode, dan penggunaan memori.
7. Coba function calling (opsional): aktifkan agar model memanggil alat lokal untuk otomatisasi yang lebih rumit.

Skenario Penggunaan

• Pekerjaan sensitif: kontrak, catatan medis, atau dokumen internal yang tidak boleh diunggah ke cloud dapat diringkas dan dianalisis di ponsel.
• Validasi AI di perangkat: pengembang mengukur ukuran model, latensi, dan memori pada perangkat nyata sebelum memilih model untuk aplikasi.
• Lingkungan tanpa atau lemah jaringan: perjalanan, kerja lapangan, atau penerbangan tanpa koneksi tetap bisa memakai obrolan AI dan pemrosesan dokumen.
• Belajar dan riset: membandingkan beberapa model terbuka di ponsel yang sama untuk memahami batas nyata inferensi lokal.

Keterbatasan

• Aplikasi bersifat eksperimental dan open source, sehingga fitur dan antarmuka dapat berubah antar versi.
• Kinerja nyata bergantung pada chipset dan memori ponsel; model yang lebih besar membutuhkan perangkat keras lebih kuat.
• Model harus diunduh dengan koneksi sebelum dapat dipakai offline, jadi sediakan ruang penyimpanan.
• Terbatas oleh daya komputasi perangkat, model lokal biasanya tertinggal dari model cloud dalam penalaran kompleks dan keluasan pengetahuan; periksa hasil penting.