Google AI Edge Gallery는 생성형 AI 모델을 스마트폰에서 직접 실행하는 Google의 실험적 오픈소스 앱입니다. Hugging Face에서 Gemma 3n 같은 모델을 내려받으면 연결 없이도 AI 채팅, 이미지 질문, 오디오 전사, 코드 생성이 가능하며 모든 처리는 기기 안에서 이루어집니다.
Google AI Edge Gallery: 생성형 AI를 스마트폰에서, 오프라인으로도
제품 소개
Google AI Edge Gallery는 Android와 iOS 기기가 생성형 AI 모델을 자체 하드웨어에서 직접 실행하도록 만든 Google의 실험적 오픈소스 앱입니다. 클라우드 기반 어시스턴트와 달리 추론을 스마트폰 안에서 처리합니다. Hugging Face에서 온디바이스 모델을 찾아 내려받으면 이후에는 네트워크 없이도 AI 채팅, 이미지 질문, 오디오 전사, 코드 생성이 가능하며 데이터는 기기 밖으로 나가지 않습니다.
개인정보를 중시하는 사용자와 온디바이스 AI를 검증하려는 개발자에게 이 앱은 바로 쓸 수 있는 실험 환경입니다. 내장 지표 패널은 첫 토큰까지 걸린 시간(TTFT), 디코딩 속도, 메모리 사용량을 보여 주며, 온디바이스 함수 호출을 켜면 모델이 기기 안의 도구와 함수를 불러 더 복잡한 자동화를 수행할 수 있습니다.
주요 기능
온디바이스 오프라인 추론: Gemma 3n 같은 생성 모델을 스마트폰에서 완전히 오프라인으로 실행해 네트워크 없이도 채팅, 질의응답, 코드 생성이 작동합니다.
멀티모달 상호작용: 텍스트 채팅, 이미지 이해와 이미지 질문, 오디오 파일 전사, 코드 생성을 하나의 앱에서 사용할 수 있습니다.
모델 탐색과 관리: Hugging Face에 연결해 모바일 기기에서 실행하기 적합한 오픈 모델을 살펴보고 필터링해 내려받을 수 있습니다.
개인정보 우선 설계: 추론의 모든 단계가 기기에서 이루어지므로 민감한 내용을 클라우드에 올릴 필요가 없습니다.
실시간 성능 측정: 내장 대시보드가 첫 토큰까지 걸린 시간, 디코딩 속도, 메모리 사용량을 실시간으로 보여 줍니다.
온디바이스 함수 호출: 모델이 기기 안의 도구와 함수를 호출할 수 있어 더 똑똑한 자동화가 가능합니다.
크로스 플랫폼 지원: Android와 iOS를 모두 지원하며 네이티브 모바일 경험을 제공합니다.
Google AI Edge Gallery 사용 방법
- 앱 설치: Android 또는 iOS 기기에서 Google AI Edge Gallery를 받고 첫 실행 시 안내에 따라 권한을 설정합니다.
- 모델 살펴보기: 모델 목록을 열어 Hugging Face의 온디바이스용 오픈 모델을 이름, 크기, 성능 기준으로 필터링합니다.
- 모델 내려받기: Gemma 3n 같은 모델을 선택해 기기에 저장합니다. 이 단계만 네트워크가 필요하며 이후 모델은 기기에 남습니다.
- 작업 모드 선택: AI 채팅, 이미지 질문, 오디오 전사, 코드 생성 사이를 전환합니다.
- 기기에서 추론 실행: 프롬프트를 입력하거나 이미지, 오디오 파일을 선택합니다. 모든 처리는 기기에서 이루어지고 비행기 모드에서도 작동합니다.
- 성능 지표 확인: 지표 패널을 열어 첫 토큰까지 걸린 시간, 디코딩 속도, 메모리 사용량을 확인합니다.
- 함수 호출 시도(선택): 온디바이스 함수 호출을 켜면 모델이 기기 안 도구를 불러 더 복잡한 작업을 자동화할 수 있습니다.
활용 사례
- 민감한 업무: 계약서, 진료 기록, 내부 문서처럼 클라우드에 올리기 어려운 내용을 스마트폰에서 요약하고 정리할 수 있습니다.
- 온디바이스 AI 검증: 개발자가 실제 기기에서 모델 크기, 지연 시간, 메모리를 측정해 앱 적용 여부를 판단할 수 있습니다.
- 네트워크가 없거나 약한 환경: 출장, 현장 작업, 비행 중처럼 연결이 어려운 상황에서도 AI 채팅과 문서 처리가 가능합니다.
- 학습과 연구: 같은 기기에서 여러 오픈 모델을 비교해 온디바이스 추론의 실제 한계를 이해할 수 있습니다.
제한 사항
- 실험적 오픈소스 앱이므로 기능과 화면이 버전에 따라 바뀔 수 있습니다.
- 실제 성능은 기기의 칩과 메모리에 따라 달라지며, 매개변수가 큰 모델은 더 높은 하드웨어 사양이 필요합니다.
- 오프라인으로 쓰려면 먼저 네트워크로 모델을 내려받아야 하므로 저장 공간을 충분히 확보해야 합니다.
- 기기 연산 성능의 한계로 온디바이스 모델은 복잡한 추론과 지식의 폭에서 클라우드 모델보다 뒤처지는 경우가 많으므로 중요한 결과는 확인하는 것이 좋습니다.
자주 묻는 질문
Google AI Edge Gallery는 무엇인가요?
Gemma 3n 같은 생성형 AI 모델을 Android와 iOS 기기에서 로컬로 실행하는 Google의 실험적 오픈소스 앱입니다. 연결 없이도 AI 채팅, 이미지 질문, 오디오 전사, 코드 생성이 가능합니다.
인터넷 없이도 사용할 수 있나요?
네. Hugging Face에서 모델을 내려받으면 기기에 남아 오프라인으로 추론이 실행됩니다. 네트워크가 필요한 것은 모델 탐색과 다운로드 단계뿐입니다.
어떤 기기를 지원하나요?
Android와 iOS를 지원합니다. 실제 경험은 기기의 칩과 메모리에 따라 달라지고, 큰 모델일수록 더 높은 사양이 필요합니다.
제 데이터가 업로드되나요?
아니요. 개인정보 우선으로 설계되어 추론과 데이터 처리가 기기에서 이루어지므로 민감한 내용을 외부로 보낼 필요가 없습니다.
