Google AI Edge Gallery: AI generativ pe telefon, chiar și offline

Prezentare generală

Google AI Edge Gallery este o aplicație experimentală open source de la Google care permite dispozitivelor Android și iOS să ruleze modele de AI generativ direct pe propriul hardware, inclusiv Gemma 3n. Spre deosebire de asistenții din cloud, păstrează inferența pe telefon: răsfoiești și descarci modele pentru dispozitiv de pe Hugging Face, iar apoi poți purta conversații, pune întrebări despre imagini, transcrie audio și genera cod fără nicio conexiune, pentru că datele nu părăsesc dispozitivul.

Pentru utilizatorii atenți la confidențialitate și pentru dezvoltatorii care vor să testeze AI pe dispozitiv, aplicația este un laborator gata de folosit. Un panou de indicatori integrat afișează timpul până la primul token (TTFT), viteza de decodare și consumul de memorie, iar apelul de funcții local permite modelului să folosească instrumente și funcții ale telefonului.

Funcții principale

• Inferență locală offline: Rulează modele generative precum Gemma 3n complet offline pe telefon, astfel încât conversațiile, răspunsurile și generarea de cod funcționează fără rețea.

• Interacțiune multimodală: Conversație text, înțelegerea imaginilor cu întrebări vizuale, transcriere audio și generare de cod într-o singură aplicație.

• Descoperirea și gestionarea modelelor: Se conectează la Hugging Face pentru a răsfoi, filtra și descărca modele deschise potrivite pentru rulare pe dispozitiv mobil.

• Design orientat spre confidențialitate: Fiecare etapă de inferență are loc local, așa că datele sensibile nu trebuie urcate în cloud.

• Indicatori de performanță în timp real: Un panou integrat afișează în timp real timpul până la primul token, viteza de decodare și consumul de memorie.

• Apel de funcții pe dispozitiv: Modelele pot apela instrumente și funcții locale, ceea ce permite automatizări mai inteligente.

• Suport multiplatformă: Disponibilă pe Android și iOS cu o experiență mobilă nativă.

Cum se folosește Google AI Edge Gallery

1. Instalează aplicația: descarcă Google AI Edge Gallery pe un dispozitiv Android sau iOS și finalizează configurarea scurtă a permisiunilor la prima deschidere.
2. Răsfoiește modelele: deschide lista pentru a vedea modelele deschise de pe Hugging Face potrivite pentru dispozitiv și filtrează după nume, dimensiune sau capabilitate.
3. Descarcă un model: alege un model precum Gemma 3n și descarcă-l pe dispozitiv. Acest pas necesită conexiune; după aceea modelul rămâne pe telefon.
4. Alege un mod de lucru: alternează între conversație AI, întrebări despre imagini, transcriere audio și generare de cod.
5. Rulează inferența local: scrie un prompt, adaugă o imagine sau selectează un fișier audio. Totul este procesat pe dispozitiv și funcționează și în modul avion.
6. Verifică indicatorii: deschide panoul de performanță pentru a citi timpul până la primul token, viteza de decodare și consumul de memorie.
7. Încearcă apelul de funcții (opțional): activează-l pentru ca modelul să folosească instrumente locale în automatizări complexe.

Cazuri de utilizare

• Muncă sensibilă: contracte, note medicale sau documente interne care nu ar trebui urcate în cloud pot fi rezumate și analizate pe telefon.
• Validarea AI pe dispozitiv: dezvoltatorii măsoară dimensiunea modelului, latența și memoria pe hardware real înainte de a alege un model pentru aplicație.
• Medii fără rețea sau cu semnal slab: în călătorii, la lucru pe teren sau în zbor, conversația AI și procesarea documentelor rămân disponibile.
• Învățare și cercetare: compararea mai multor modele deschise pe același telefon pentru a înțelege limitele reale ale inferenței locale.

Limitări

• Aplicația este experimentală și open source, așa că funcțiile și interfața se pot schimba între versiuni.
• Performanța reală depinde de cipul și memoria telefonului; modelele mai mari necesită hardware mai puternic.
• Modelele trebuie descărcate cu conexiune înainte de a funcționa offline, așa că rezervă spațiu de stocare.
• Limitate de puterea dispozitivului, modelele locale rămân de obicei în urma celor din cloud la raționamente complexe și la amploarea cunoștințelor, deci verifică rezultatele importante.