Google AI Edge Gallery: IA generativa sul telefono, anche offline

Panoramica

Google AI Edge Gallery è un'app sperimentale open source di Google che permette ai dispositivi Android e iOS di eseguire modelli di IA generativa direttamente sul proprio hardware, incluso Gemma 3n. A differenza degli assistenti cloud, mantiene l'inferenza sul telefono: si esplorano e si scaricano modelli on-device da Hugging Face e poi si può chattare, fare domande sulle immagini, trascrivere audio e generare codice senza alcuna connessione, perché i dati non lasciano il dispositivo.

Per chi tiene alla privacy e per gli sviluppatori che vogliono provare l'IA on-device, l'app è un laboratorio pronto all'uso. Un pannello di metriche integrato mostra il tempo al primo token (TTFT), la velocità di decodifica e l'uso di memoria, mentre il function calling locale consente al modello di richiamare strumenti e funzioni del telefono.

Funzionalità principali

• Inferenza locale offline: Esegue modelli generativi come Gemma 3n completamente offline sul telefono, così chat, domande e generazione di codice funzionano senza rete.

• Interazione multimodale: Chat testuale, comprensione delle immagini con domande visive, trascrizione audio e generazione di codice in un'unica app.

• Scoperta e gestione dei modelli: Si collega a Hugging Face per esplorare, filtrare e scaricare modelli aperti adatti all'esecuzione su dispositivo mobile.

• Design attento alla privacy: Ogni fase dell'inferenza avviene in locale, quindi i contenuti sensibili non devono mai essere caricati sul cloud.

• Metriche di prestazioni in tempo reale: Una dashboard integrata riporta in tempo reale tempo al primo token, velocità di decodifica e uso di memoria.

• Function calling on-device: I modelli possono richiamare strumenti e funzioni locali, abilitando automazioni più intelligenti.

• Supporto multipiattaforma: Disponibile per Android e iOS con un'esperienza mobile nativa.

Come usare Google AI Edge Gallery

1. Installa l'app: scarica Google AI Edge Gallery su un dispositivo Android o iOS e completa la breve configurazione dei permessi al primo avvio.
2. Esplora i modelli: apri l'elenco per vedere i modelli aperti di Hugging Face adatti all'uso su dispositivo e filtra per nome, dimensione o capacità.
3. Scarica un modello: scegli un modello come Gemma 3n e scaricalo sul dispositivo. Questo passaggio richiede una connessione; poi il modello resta sul telefono.
4. Scegli una modalità: passa tra chat IA, domande sulle immagini, trascrizione audio e generazione di codice.
5. Esegui l'inferenza locale: scrivi un prompt, carica un'immagine o seleziona un file audio. Tutto viene elaborato sul dispositivo e funziona anche in modalità aereo.
6. Controlla le metriche: apri il pannello delle prestazioni per leggere tempo al primo token, velocità di decodifica e uso di memoria.
7. Prova il function calling (opzionale): attivalo per far richiamare al modello strumenti locali in automazioni più complesse.

Casi d'uso

• Lavoro con dati sensibili: contratti, note mediche o documenti interni che non dovrebbero andare nel cloud possono essere riassunti e analizzati sul telefono.
• Validazione dell'IA on-device: gli sviluppatori misurano dimensione, latenza e memoria su hardware reale prima di scegliere un modello per l'app.
• Ambienti offline o con rete debole: in viaggio, sul campo o in volo la chat IA e la gestione dei documenti restano disponibili anche senza connessione.
• Apprendimento e ricerca: confrontare modelli aperti diversi sullo stesso telefono per capire i limiti reali dell'inferenza locale.

Limitazioni

• L'app è sperimentale e open source, quindi funzioni e interfaccia possono cambiare tra le versioni.
• Le prestazioni reali dipendono dal chip e dalla memoria del telefono; i modelli più grandi richiedono hardware più potente.
• I modelli vanno scaricati con una connessione prima di funzionare offline, quindi è consigliabile avere spazio di archiviazione libero.
• Limitati dalla potenza del dispositivo, i modelli locali restano spesso dietro a quelli cloud nel ragionamento complesso e nell'ampiezza delle conoscenze; verifica i risultati importanti.