Google AI Edge Gallery：把生成式 AI 裝進手機，斷網也能用

產品簡介

Google AI Edge Gallery 是 Google 推出的實驗性開源應用，讓 Android 與 iOS 裝置可以直接在本機執行生成式 AI 模型，例如 Gemma 3n。與依賴雲端的 AI 服務不同，它把推論過程完整放在裝置端：使用者從 Hugging Face 瀏覽並下載適合端側的開源模型，之後即使沒有網路，也能進行 AI 對話、影像問答、音訊轉錄與程式碼生成，資料始終留在本機。

對注重隱私的使用者與希望驗證端側 AI 能力的開發者來說，這個應用提供了一個開箱即用的實驗場域。它內建即時效能面板，可以直接看到首個 Token 生成時間（TTFT）、解碼速度與記憶體佔用；同時支援端側 Function Calling，讓模型在本機呼叫工具與函式，把手機變成一台隱私優先的 AI 助手。

主要功能

• 端側離線推論：支援在手機端完全離線執行生成式 AI 模型（如 Gemma 3n），無需網路連線即可完成 AI 對話、問答與程式碼生成。

• 多模態互動：支援文字對話、影像理解與問答（上傳圖片後直接提問）、音訊檔案轉錄以及程式碼生成等多種任務模式。

• 模型探索與管理：直接連接 Hugging Face 平台，瀏覽、篩選並把適合端側執行的開源模型下載到本機裝置。

• 隱私優先設計：所有資料處理都在裝置本機完成，敏感內容無需上傳雲端，最大程度保護使用者隱私與資料安全。

• 即時效能監控：內建指標面板，即時顯示首個 Token 生成時間（TTFT）、解碼速度、記憶體佔用等關鍵效能數據。

• 端側 Function Calling：支援模型在裝置端呼叫本機工具或函式，實現更智慧的自動化任務處理。

• 跨平台支援：同時支援 Android 與 iOS 系統，提供原生行動端體驗。

如何使用 Google AI Edge Gallery

1. 安裝應用程式：在 Android 或 iOS 裝置上取得 Google AI Edge Gallery，首次開啟時依引導完成基礎權限設定。
2. 瀏覽模型：進入模型列表，查看 Hugging Face 上適合端側執行的模型，並依名稱、體積或能力篩選。
3. 下載模型：選擇目標模型並下載到本機，例如 Gemma 3n 系列；此步驟需要網路，完成後模型常駐裝置。
4. 選擇任務模式：依需求切換到 AI 對話、影像問答、音訊轉錄或程式碼生成等模式。
5. 本機推論：輸入問題、圖片或音訊開始推論，整個過程在裝置端完成，斷網狀態下同樣可用。
6. 查看效能數據：開啟指標面板，觀察首個 Token 生成時間、解碼速度與記憶體佔用，判斷目前裝置上的實際表現。
7. 嘗試 Function Calling（選用）：啟用端側函式呼叫能力，讓模型呼叫本機工具完成更複雜的自動化任務。

適用場景

• 隱私敏感工作：合約、病歷、內部資料等不適合上傳雲端的內容，可以在手機本機完成理解與整理。
• 端側 AI 開發驗證：開發者在真實行動裝置上測試模型體積、推論速度與記憶體佔用，為應用選型提供依據。
• 無網與弱網環境：差旅、野外、機艙等網路不穩定或不允許連網的場景，依然可以進行 AI 對話與文件處理。
• 學習與研究：直觀比較不同開源模型在同一支手機上的效果與效能差異，理解端側推論的邊界。

限制與說明

• Google AI Edge Gallery 屬於實驗性開源應用，功能與介面可能隨版本迭代持續調整。
• 端側推論的實際表現取決於裝置晶片與記憶體，參數量更大的模型需要更高的硬體配置。
• 模型需要先連網下載到本機才能離線使用，首次使用前請預留足夠的儲存空間。
• 受裝置算力限制，端側模型在複雜推理與知識廣度上通常不及雲端大模型，關鍵結果建議人工複核。