Google AI Edge Gallery: generative KI auf dem Smartphone, auch offline

Produktübersicht

Google AI Edge Gallery ist eine experimentelle Open-Source-App von Google, mit der Android- und iOS-Geräte generative KI-Modelle wie Gemma 3n direkt auf eigener Hardware ausführen. Anders als cloudbasierte Assistenten bleibt die Inferenz auf dem Smartphone: Du suchst und lädst On-Device-Modelle von Hugging Face und kannst anschließend ohne jede Verbindung chatten, Bilder befragen, Audio transkribieren und Code erzeugen, weil die Daten das Gerät nicht verlassen.

Für datenschutzbewusste Nutzer und für Entwickler, die On-Device-KI testen wollen, ist die App ein sofort nutzbarer Spielplatz. Ein eingebautes Messpanel zeigt die Zeit bis zum ersten Token (TTFT), die Dekodiergeschwindigkeit und den Speicherverbrauch, während Function Calling auf dem Gerät dem Modell erlaubt, lokale Werkzeuge und Funktionen aufzurufen.

Hauptfunktionen

• Lokale Offline-Inferenz: Führt generative Modelle wie Gemma 3n vollständig offline auf dem Smartphone aus, sodass Chat, Fragen und Codeerzeugung ohne Netzwerk funktionieren.

• Multimodale Interaktion: Textchat, Bildverständnis mit visuellen Fragen, Audiotranskription und Codeerzeugung in einer einzigen App.

• Modelle entdecken und verwalten: Verbindet sich mit Hugging Face, um offene Modelle zu durchsuchen, zu filtern und herunterzuladen, die für mobile Geräte geeignet sind.

• Datenschutz als Prinzip: Jeder Inferenzschritt läuft lokal, sodass sensible Inhalte nie in die Cloud hochgeladen werden müssen.

• Live-Leistungsmessung: Ein integriertes Dashboard meldet Zeit bis zum ersten Token, Dekodiergeschwindigkeit und Speicherverbrauch in Echtzeit.

• Function Calling auf dem Gerät: Modelle können lokale Werkzeuge und Funktionen aufrufen und so intelligentere Automatisierungen ausführen.

• Plattformübergreifend: Verfügbar für Android und iOS mit einer nativen mobilen Erfahrung.

So verwendest du Google AI Edge Gallery

1. App installieren: Lade Google AI Edge Gallery auf einem Android- oder iOS-Gerät und schließe beim ersten Start die kurze Berechtigungseinrichtung ab.
2. Modelle durchsuchen: Öffne die Modellliste, um offene Modelle von Hugging Face zu sehen, die für den Geräteeinsatz geeignet sind, und filtere nach Name, Größe oder Fähigkeit.
3. Modell herunterladen: Wähle ein Modell wie Gemma 3n und lade es auf das Gerät. Dieser Schritt braucht eine Verbindung; danach bleibt das Modell auf dem Smartphone.
4. Aufgabenmodus wählen: Wechsle zwischen KI-Chat, Bildfragen, Audiotranskription und Codeerzeugung.
5. Lokal inferieren: Gib einen Prompt ein, lade ein Bild hoch oder wähle eine Audiodatei. Alles wird auf dem Gerät verarbeitet und funktioniert auch im Flugmodus.
6. Messwerte prüfen: Öffne das Leistungspanel, um Zeit bis zum ersten Token, Dekodiergeschwindigkeit und Speicherverbrauch deiner Hardware zu sehen.
7. Function Calling testen (optional): Aktiviere Function Calling auf dem Gerät, damit das Modell lokale Werkzeuge für komplexere Automatisierungen aufruft.

Anwendungsfälle

• Sensible Arbeit: Verträge, Arztnotizen oder interne Dokumente, die nicht in die Cloud sollen, lassen sich auf dem Smartphone zusammenfassen und auswerten.
• On-Device-KI prüfen: Entwickler messen Modellgröße, Latenz und Speicher auf echter Hardware, bevor sie ein Modell für eine App wählen.
• Offline und schwaches Netz: Auf Reisen, im Außendienst oder im Flugzeug bleiben KI-Chat und Dokumentbearbeitung möglich, wenn keine Verbindung verfügbar oder erlaubt ist.
• Lernen und Forschen: Verschiedene offene Modelle auf demselben Smartphone vergleichen, um die praktischen Grenzen lokaler Inferenz zu verstehen.

Einschränkungen

• Die App ist experimentell und Open Source, daher können sich Funktionen und Oberfläche zwischen Versionen ändern.
• Die tatsächliche Leistung hängt von Chip und Speicher des Smartphones ab; größere Modelle brauchen leistungsfähigere Hardware.
• Modelle müssen mit Verbindung heruntergeladen werden, bevor sie offline funktionieren; plane ausreichend Speicherplatz ein.
• Durch die Rechenleistung des Geräts begrenzt, bleiben lokale Modelle bei komplexem Schlussfolgern und Wissensbreite meist hinter Cloud-Modellen zurück; prüfe wichtige Ergebnisse.