Google AI Edge Gallery: generatywna AI na telefonie, także offline

Przegląd produktu

Google AI Edge Gallery to eksperymentalna aplikacja open source Google, która pozwala urządzeniom z Androidem i iOS uruchamiać modele AI generatywnej bezpośrednio na własnym sprzęcie, w tym Gemma 3n. W odróżnieniu od asystentów chmurowych utrzymuje wnioskowanie na telefonie: przeglądasz i pobierasz modele lokalne z Hugging Face, a następnie możesz rozmawiać, zadawać pytania o obrazy, transkrybować audio i generować kod bez żadnego połączenia, ponieważ dane nie opuszczają urządzenia.

Dla osób dbających o prywatność oraz dla deweloperów, którzy chcą testować AI na urządzeniu, aplikacja jest gotowym środowiskiem prób. Wbudowany panel metryk pokazuje czas do pierwszego tokenu (TTFT), szybkość dekodowania i zużycie pamięci, a lokalne wywoływanie funkcji pozwala modelowi korzystać z narzędzi i funkcji telefonu.

Najważniejsze funkcje

• Lokalne wnioskowanie offline: Uruchamia modele generatywne, takie jak Gemma 3n, całkowicie offline na telefonie, więc czat, odpowiadanie na pytania i generowanie kodu działają bez sieci.

• Interakcja multimodalna: Czat tekstowy, rozumienie obrazów z pytaniami wizualnymi, transkrypcja audio i generowanie kodu w jednej aplikacji.

• Odkrywanie i zarządzanie modelami: Łączy się z Hugging Face, aby przeglądać, filtrować i pobierać otwarte modele odpowiednie do pracy na urządzeniu mobilnym.

• Projekt z myślą o prywatności: Każdy etap wnioskowania odbywa się lokalnie, więc wrażliwe treści nie muszą trafiać do chmury.

• Metryki wydajności na żywo: Wbudowany panel pokazuje w czasie rzeczywistym czas do pierwszego tokenu, szybkość dekodowania i zużycie pamięci.

• Wywoływanie funkcji na urządzeniu: Modele mogą wywoływać lokalne narzędzia i funkcje, co umożliwia inteligentniejszą automatyzację.

• Wsparcie wielu platform: Dostępna na Androidzie i iOS z natywnym doświadczeniem mobilnym.

Jak korzystać z Google AI Edge Gallery

1. Zainstaluj aplikację: pobierz Google AI Edge Gallery na urządzenie z Androidem lub iOS i dokończ krótką konfigurację uprawnień przy pierwszym uruchomieniu.
2. Przeglądaj modele: otwórz listę, aby zobaczyć otwarte modele z Hugging Face odpowiednie dla urządzenia, i filtruj je według nazwy, rozmiaru lub możliwości.
3. Pobierz model: wybierz model, taki jak Gemma 3n, i pobierz go na urządzenie. Ten krok wymaga połączenia; potem model pozostaje na telefonie.
4. Wybierz tryb zadania: przełączaj się między czatem AI, pytaniami o obrazy, transkrypcją audio i generowaniem kodu.
5. Uruchom wnioskowanie lokalnie: wpisz polecenie, dodaj obraz lub wybierz plik audio. Wszystko jest przetwarzane na urządzeniu i działa także w trybie samolotowym.
6. Sprawdź metryki: otwórz panel wydajności, aby odczytać czas do pierwszego tokenu, szybkość dekodowania i zużycie pamięci.
7. Wypróbuj wywoływanie funkcji (opcjonalnie): włącz je, aby model korzystał z lokalnych narzędzi w bardziej złożonej automatyzacji.

Zastosowania

• Praca z danymi wrażliwymi: umowy, notatki medyczne czy dokumenty wewnętrzne, których nie należy wysyłać do chmury, można streszczać i analizować na telefonie.
• Weryfikacja AI na urządzeniu: deweloperzy mierzą rozmiar modelu, opóźnienie i pamięć na realnym sprzęcie przed wyborem modelu do aplikacji.
• Brak sieci lub słaby zasięg: w podróży, w terenie lub w samolocie czat AI i przetwarzanie dokumentów nadal działają.
• Nauka i badania: porównywanie różnych otwartych modeli na tym samym telefonie pozwala zrozumieć realne granice wnioskowania lokalnego.

Ograniczenia

• Aplikacja jest eksperymentalna i open source, więc funkcje oraz interfejs mogą zmieniać się między wersjami.
• Rzeczywista wydajność zależy od chipsetu i pamięci telefonu; większe modele wymagają mocniejszego sprzętu.
• Modele trzeba pobrać z połączeniem, zanim zadziałają offline, więc warto zapewnić miejsce na dane.
• Ograniczone mocą urządzenia modele lokalne zwykle ustępują modelom chmurowym w złożonym rozumowaniu i szerokości wiedzy, dlatego ważne wyniki warto sprawdzić.