Google AI Edge Gallery: AI tạo sinh trên điện thoại, dùng được cả khi ngoại tuyến

Tổng quan sản phẩm

Google AI Edge Gallery là ứng dụng mã nguồn mở thử nghiệm của Google, cho phép thiết bị Android và iOS chạy mô hình AI tạo sinh ngay trên phần cứng của mình, bao gồm Gemma 3n. Khác với các trợ lý đám mây, ứng dụng giữ quá trình suy luận trên điện thoại: bạn duyệt và tải mô hình dành cho thiết bị từ Hugging Face, sau đó có thể trò chuyện, hỏi về hình ảnh, chuyển giọng nói thành văn bản và tạo mã mà không cần bất kỳ kết nối nào, vì dữ liệu không rời khỏi thiết bị.

Với người dùng quan tâm đến quyền riêng tư và nhà phát triển muốn kiểm chứng AI trên thiết bị, ứng dụng là một môi trường thử nghiệm sẵn dùng. Bảng chỉ số tích hợp hiển thị thời gian đến token đầu tiên (TTFT), tốc độ giải mã và mức dùng bộ nhớ, còn tính năng gọi hàm trên thiết bị cho phép mô hình dùng các công cụ và hàm cục bộ.

Tính năng chính

• Suy luận cục bộ ngoại tuyến: Chạy mô hình tạo sinh như Gemma 3n hoàn toàn ngoại tuyến trên điện thoại, nên trò chuyện, hỏi đáp và tạo mã vẫn hoạt động khi không có mạng.

• Tương tác đa phương thức: Trò chuyện văn bản, hiểu hình ảnh và đặt câu hỏi về ảnh, chuyển tệp âm thanh thành văn bản và tạo mã trong cùng một ứng dụng.

• Khám phá và quản lý mô hình: Kết nối Hugging Face để duyệt, lọc và tải các mô hình mở phù hợp chạy trên thiết bị di động.

• Thiết kế ưu tiên quyền riêng tư: Mọi bước suy luận diễn ra cục bộ nên nội dung nhạy cảm không cần tải lên đám mây.

• Đo hiệu năng thời gian thực: Bảng điều khiển tích hợp hiển thị thời gian đến token đầu tiên, tốc độ giải mã và mức dùng bộ nhớ theo thời gian thực.

• Gọi hàm trên thiết bị: Mô hình có thể gọi công cụ và hàm cục bộ, giúp tự động hóa thông minh hơn.

• Hỗ trợ đa nền tảng: Có sẵn cho Android và iOS với trải nghiệm di động gốc.

Cách sử dụng Google AI Edge Gallery

1. Cài ứng dụng: tải Google AI Edge Gallery trên thiết bị Android hoặc iOS và hoàn tất thiết lập quyền ngắn gọn khi mở lần đầu.
2. Duyệt mô hình: mở danh sách mô hình để xem các mô hình mở của Hugging Face phù hợp với thiết bị, lọc theo tên, dung lượng hoặc khả năng.
3. Tải mô hình: chọn một mô hình như Gemma 3n và tải về thiết bị. Bước này cần kết nối; sau đó mô hình nằm lại trên điện thoại.
4. Chọn chế độ tác vụ: chuyển giữa trò chuyện AI, hỏi về hình ảnh, chuyển giọng nói thành văn bản và tạo mã.
5. Chạy suy luận cục bộ: nhập câu lệnh, thêm hình ảnh hoặc chọn tệp âm thanh. Mọi thứ được xử lý trên thiết bị và vẫn chạy ở chế độ máy bay.
6. Kiểm tra chỉ số: mở bảng hiệu năng để xem thời gian đến token đầu tiên, tốc độ giải mã và mức dùng bộ nhớ.
7. Thử gọi hàm (tùy chọn): bật tính năng này để mô hình dùng công cụ cục bộ trong các tác vụ tự động phức tạp hơn.

Tình huống sử dụng

• Công việc nhạy cảm: hợp đồng, ghi chú y tế hay tài liệu nội bộ không nên đưa lên đám mây có thể được tóm tắt và phân tích ngay trên điện thoại.
• Kiểm chứng AI trên thiết bị: nhà phát triển đo dung lượng, độ trễ và bộ nhớ trên phần cứng thật trước khi chọn mô hình cho ứng dụng.
• Môi trường không có hoặc yếu mạng: khi đi công tác, làm việc thực địa hay trên chuyến bay, trò chuyện AI và xử lý tài liệu vẫn khả dụng.
• Học tập và nghiên cứu: so sánh nhiều mô hình mở khác nhau trên cùng một điện thoại để hiểu giới hạn thực tế của suy luận cục bộ.

Hạn chế

• Ứng dụng mang tính thử nghiệm và mã nguồn mở nên tính năng và giao diện có thể thay đổi giữa các phiên bản.
• Hiệu năng thực tế phụ thuộc vào chip và bộ nhớ của điện thoại; mô hình lớn hơn cần phần cứng mạnh hơn.
• Mô hình phải được tải qua kết nối trước khi dùng ngoại tuyến, nên hãy dự trù dung lượng lưu trữ.
• Bị giới hạn bởi sức tính toán của thiết bị, mô hình cục bộ thường kém hơn mô hình đám mây ở suy luận phức tạp và độ rộng kiến thức, vì vậy nên kiểm tra lại kết quả quan trọng.