Google AI Edge Gallery: генеративный ИИ на телефоне, даже без сети

Обзор продукта

Google AI Edge Gallery — экспериментальное приложение Google с открытым кодом, позволяющее устройствам на Android и iOS запускать генеративные модели непосредственно на собственном железе, включая Gemma 3n. В отличие от облачных ассистентов, оно выполняет вывод на телефоне: вы просматриваете и скачиваете локальные модели с Hugging Face, а затем можете общаться, задавать вопросы по изображениям, расшифровывать аудио и генерировать код без подключения, потому что данные не покидают устройство.

Для тех, кто заботится о приватности, и для разработчиков, проверяющих ИИ на устройстве, приложение служит готовой площадкой для экспериментов. Встроенная панель показывает время до первого токена (TTFT), скорость декодирования и использование памяти, а локальный вызов функций позволяет модели обращаться к инструментам и функциям самого телефона.

Основные возможности

• Локальный вывод без сети: Запускает генеративные модели вроде Gemma 3n полностью офлайн на телефоне, поэтому чат, ответы на вопросы и генерация кода работают без подключения.

• Мультимодальное взаимодействие: Текстовый чат, понимание изображений с вопросами по картинке, расшифровка аудио и генерация кода в одном приложении.

• Поиск и управление моделями: Подключается к Hugging Face, чтобы просматривать, фильтровать и скачивать открытые модели, подходящие для мобильного устройства.

• Приватность по умолчанию: Каждый этап вывода выполняется локально, поэтому конфиденциальные материалы не нужно отправлять в облако.

• Метрики производительности в реальном времени: Встроенная панель показывает время до первого токена, скорость декодирования и использование памяти.

• Вызов функций на устройстве: Модели могут обращаться к локальным инструментам и функциям, что открывает более сложную автоматизацию.

• Кроссплатформенность: Доступно на Android и iOS с нативным мобильным опытом.

Как пользоваться Google AI Edge Gallery

1. Установите приложение: загрузите Google AI Edge Gallery на устройство Android или iOS и завершите короткую настройку разрешений при первом запуске.
2. Просмотрите модели: откройте список моделей Hugging Face, подходящих для устройства, и отфильтруйте их по названию, размеру или возможностям.
3. Скачайте модель: выберите модель вроде Gemma 3n и загрузите её на устройство. Этот шаг требует сети; затем модель остаётся на телефоне.
4. Выберите режим задачи: переключайтесь между чатом с ИИ, вопросами по изображениям, расшифровкой аудио и генерацией кода.
5. Запустите локальный вывод: введите запрос, добавьте изображение или выберите аудиофайл. Всё обрабатывается на устройстве и работает даже в авиарежиме.
6. Проверьте метрики: откройте панель производительности, чтобы увидеть время до первого токена, скорость декодирования и использование памяти.
7. Попробуйте вызов функций (необязательно): включите локальный вызов функций, чтобы модель обращалась к инструментам устройства в сложных сценариях.

Сценарии использования

• Конфиденциальная работа: договоры, медицинские записи и внутренние документы, которые не стоит отправлять в облако, можно обрабатывать на телефоне.
• Проверка ИИ на устройстве: разработчики измеряют размер модели, задержку и память на реальном железе перед выбором модели для приложения.
• Без сети и при слабом сигнале: в поездке, в поле или в самолёте чат с ИИ и работа с документами остаются доступными.
• Обучение и исследования: сравнение разных открытых моделей на одном телефоне помогает понять реальные пределы локального вывода.

Ограничения

• Приложение экспериментальное и открытое, поэтому функции и интерфейс могут меняться от версии к версии.
• Реальная производительность зависит от чипа и памяти телефона; более крупным моделям нужно мощное железо.
• Модели необходимо скачать при наличии сети, прежде чем они заработают офлайн, поэтому стоит заранее выделить место.
• Из-за ограничений устройства локальные модели обычно уступают облачным в сложных рассуждениях и широте знаний, поэтому важные результаты стоит проверять.