내용 요약

Jev은 TypeSafe AI의 AI 구조화 의사결정 모델로, 문장을 출력하지 않고 사전 설정된 선택지 내에서 Choice(선택)·Score(점수)·Noul(참/거짓 판단) 세 가지 타입화된 의사결정과 보정된 신뢰도를 반환합니다. 지연은 약 70–500밀리초로 유사한 대규모 언어 모델보다 20~200배 빠르며, 한 번의 호출로 여러 질문을 병렬 평가할 수 있어 에이전트의 고빈도 판단 시나리오에 적합합니다.

Jev이란

Jev은 TypeSafe AI가 출시한 AI 구조화 의사결정 모델로, 창립자는 전 OpenAI 연구원 Diogo Almeida입니다. Jev은 Transformer 기반이지만 대규모 언어 모델은 아니며, 문장을 출력하지 않고 사전에 설정된 선택지 내에서 타입화된 의사결정을 반환합니다: Choice(선택), Score(점수), Noul(확률)이며, 신뢰도가 함께 제공됩니다. 모델 응답 지연은 약 70–500밀리초로, 도구 라우팅, 티켓 분류, 게임 의사결정 등 에이전트의 고빈도 판단 시나리오를 위해 설계되었습니다.

Jev의 주요 기능

  • Choice 선택 결정: 사전 설정된 선택지 목록(최대 255개)에서 가장 적합한 항목을 선택하여 선택지, 확률 분포, 신뢰도를 반환합니다. 라우팅과 분류에 적합합니다.
  • Score 점수 채점: 입력을 사용자 정의 척도(예: 1~5단계)에 따라 점수를 매기고 점수, 확률, 신뢰도를 반환하여 긴급도, 품질 또는 위험 등급을 측정합니다.
  • Noul 참/거짓 판단: "이 진술이 참인가"에 대해 0~1 사이의 확률값을 출력합니다. 사람에게 전달할지, 조치가 필요한지 등의 이진 판단에 적합합니다.
  • 복수 질문 병렬 처리: 한 번의 API 호출로 여러 질문을 동시에 섞어 물을 수 있으며, 동일한 입력을 공유하고 독립적으로 병렬 평가합니다. 질문을 추가해도 지연은 거의 늘지 않으며 컨텍스트 부패도 발생하지 않습니다.
  • 신뢰도 출력: Choice와 Score에는 보정된 신뢰도 점수가 함께 제공되어 코드가 이를 바탕으로 분기할 수 있습니다 — 높은 신뢰도는 자동 실행, 낮은 신뢰도는 대규모 모델로 에스컬레이션하거나 사람에게 넘깁니다.
  • 환각 없는 타입화 출력: 사용자가 사전 설정한 선택지와 타입 범위 내로 엄격히 제한하여 반환하므로 JSON 파싱이 필요 없으며, 형식 오류와 범위를 벗어난 엉뚱한 답변을 원천 차단합니다.
  • 초저지연: 종단 간 응답이 약 70–500밀리초로, 유사한 대규모 언어 모델보다 20~200배 빠르며 초당 약 10회의 고빈도 결정 루프를 지원합니다.

Jev의 세 가지 출력 형태

  • Choice(선택 결정): 사용자가 미리 정의한 선택지 목록(최대 255개)에서 가장 적합한 항목을 선택하여 선택된 선택지, 각 선택지의 확률 분포, 신뢰도를 반환합니다. 라우팅, 분류, 도구 선택 등 "여러 개 중 하나 선택" 시나리오에 적합합니다.
  • Score(척도 채점): 입력 상태를 사용자가 정한 채점 척도에 따라 점수를 매기고 점수, 각 등급의 확률 분포, 신뢰도를 반환합니다. 긴급도 평가, 품질 등급, 위험 분류 등 "몇 점인가" 시나리오에 적합합니다.
  • Noul(참/거짓 판단): 한 진술의 참/거짓에 대해 0~1 사이의 확률값을 출력하며, 신뢰도는 단독으로 반환하지 않습니다. "사람에게 전달해야 하는가", "조치가 필요한가" 등의 이진 판단 시나리오에 적합합니다.

세 가지의 관계: 동일한 API 호출 안에서 자유롭게 혼합하여 사용할 수 있으며, 동일한 입력 상태를 공유하고 병렬로 독립 평가합니다 — 질문을 추가해도 지연은 거의 늘지 않으며 컨텍스트 부패도 발생하지 않습니다.

Jev 사용 방법

  • 계정 등록: Jev 공식 웹사이트 https://console.typesafe.ai/ 에 접속하여 등록하면 바로 사용할 수 있습니다.
  • API 키 발급: 콘솔에서 API 키를 생성하고 복사하여 이후 인터페이스 호출의 인증에 사용합니다.
  • 입력 상태(State) 준비: 현재 국면을 구조화된 텍스트나 데이터로 정리합니다. 예를 들어 게임 상태, 웹 페이지 요소 목록, 이메일 내용 등입니다. Jev이 보는 것은 원본 화면이 아니라 상태 설명입니다.
  • 질문(Questions) 정의: 필요에 따라 세 가지 프리미티브 — Choice(선택 결정), Score(척도 채점), Noul(참/거짓 판단) — 중에서 선택하며, 각 질문은 구체적인 한 가지 일만 묻습니다.
  • 요청 전송 호출: REST API 또는 공식 SDK를 통해 요청을 보내며, State와 여러 질문을 같은 호출에 넣으면 모델이 모든 질문을 병렬 평가합니다.
  • 타입화된 결과 파싱: 선택지/점수/확률 및 신뢰도 등 강타입 결과를 직접 얻을 수 있어 JSON 프롬프트나 추가 파서를 작성할 필요가 없으며 코드가 바로 소비할 수 있습니다.
  • 코드로 복수 질문 조합: 복잡한 판단을 여러 원자적 질문으로 분해한 뒤, 코드 로직으로 각 차원의 결과를 가중치와 함께 조합합니다. 모델에게 한 번의 질문 안에서 모두 저울질하게 하지 않습니다.
  • 신뢰도 분기 연동: 반환된 신뢰도에 따라 전략을 설계합니다. 예를 들어 90% 이상은 자동 실행, 60~90%는 대규모 모델로 에스컬레이션, 60% 미만은 사람에게 넘깁니다.
  • 자체 데이터로 보정 검증: 자동 결정 규칙을 상용화하기 전에 먼저 업무 데이터로 모델의 확률이 실제 결과와 일치하는지 검증해야 하며, 단 한 번의 신뢰도 수치만 보면 안 됩니다.
  • 생성 모델과 병용: 텍스트 산출이 필요한 시나리오(예: 폼 내용 작성)는 별도로 생성 모델을 호출하고, Jev은 "무엇을 선택할까"의 고빈도 판단 단계만 전담합니다.

Jev의 핵심 장점

  • 극한의 속도: 종단 간 지연이 70–500밀리초에 불과하며, 유사한 대규모 언어 모델보다 20~200배 빨라 초당 약 10회의 고빈도 결정 루프를 지원합니다.
  • 형식 환각 없음: 출력은 사용자가 사전 설정한 선택지와 타입 범위로 엄격히 제한되어 JSON 파싱이 필요 없으며, 엉뚱한 답변과 형식 오류를 원천 차단합니다.
  • 보정된 신뢰도: 보정된 확률 분포와 신뢰도 점수를 반환하여 코드가 이를 바탕으로 자동 실행, 모델 에스컬레이션, 사람 개입의 분기 결정을 내릴 수 있습니다.
  • 복수 질문 병렬 처리: 한 번의 호출로 여러 독립 질문을 동시에 평가할 수 있으며, 동일한 입력을 공유하고 지연은 거의 늘지 않으며 컨텍스트 부패도 발생하지 않습니다.
  • 의사결정과 생성의 분리: "판단"을 완전한 텍스트 생성에서 분리하여 대규모 모델을 사소한 작업에 쓰는 것을 피하고, 생성 모델이 자신 있는 텍스트 산출에 전념하게 합니다.
  • 코드로 조합 가능: 원자적 질문 설계로 업무 로직이 코드에 쌓이며, 우선순위 변경은 프롬프트 재작성이 아니라 계수 수정으로 해결되어 제어성과 유지보수성이 더욱 강화됩니다.
  • 범용적 의미 이해: Transformer 아키텍처 기반으로 범용적 의미 이해 능력을 갖추고 있어, 규칙과 후보가 자주 바뀌어도 전통적 분류기처럼 재학습이 필요하지 않습니다.

Jev의 경쟁 제품 비교

비교 차원 Jev(System One 의사결정 모델) Gemini 2.5 Flash(분류 판단에 범용 LLM 사용)
모델의 본질 의사결정 전용으로 학습된 분류 모델로 텍스트 생성 능력 없음 범용 자기회귀 멀티모달 대규모 모델로 텍스트 생성이 본업
응답 지연 70–500밀리초로 안정적이고 예측 가능 수백 밀리초에서 수 초까지, prompt 길이와 출력 token의 영향을 크게 받음
호출 비용 입력 100만 토큰당 0.042달러, 출력 무료 입력·출력 양방향 과금으로 종합 비용이 10~20배 높음
분류 정확도 커뮤니티 실측 상업용 메일 분류에서 Gemini보다 다소 낮음 범용 작업에서 정확도가 더 높고 의미 이해가 더 포괄적
출력 형태 타입화된 의사결정 + 확률 분포 + 보정된 신뢰도 자유 텍스트 또는 제약 JSON, 네이티브 보정 신뢰도 없음
환각 제어 사전 설정된 선택지로 엄격히 제한, 형식 환각 없음 범위를 벗어난 출력이나 필드 드리프트 가능성 존재
다중 작업 병렬 한 번의 호출로 여러 독립 질문을 병렬 평가하며 추가 지연 제로 직렬로 여러 번 호출하거나 복잡한 prompt를 짜맞춰야 해 컨텍스트 부패가 쉽게 발생
멀티모달 능력 구조화된 텍스트 상태만 처리 이미지·텍스트·오디오·비디오를 네이티브로 지원하여 직접 "이미지를 보고 판단" 가능

Jev의 활용 시나리오

  • 에이전트 라우팅과 도구 스케줄링: 현재 의도가 검색, 데이터베이스, 코드 실행 중 무엇을 호출해야 하는지 고빈도로 판단하여 사전 설정된 유효 API 목록에서만 선택합니다. 환각된 도구 이름을 제거하는 동시에 밀리초급 응답으로 에이전트의 빠른 루프를 뒷받침합니다.
  • 고객 지원 티켓 분류: 한 번의 호출로 티켓의 담당 팀, 긴급도, 정보 완비 여부를 병렬 판단하여 매일 수백만 건의 메일/티켓을 거의 제로에 가까운 비용으로 자동 분류합니다.
  • 게임 및 시뮬레이션 의사결정: 게임 엔진이 출력하는 구조화 상태를 받아 사전 설정된 행동 집합 안에서 초당 약 10회의 속도로 고빈도로 기술을 선택하여 DOOM, Mario 등 게임의 AI 플레이어를 구동합니다.
  • 브라우저 자동화: 페이지 요소에 번호를 매긴 뒤 Jev이 어떤 버튼을 클릭하고 어떤 입력창에 채울지 단계별로 결정하게 하며, 텍스트 산출이 필요할 때만 생성 모델로 전환하여 항공권 조회 등의 작업을 십여 단계 만에 수 초 만에 완료합니다.
  • 컨텍스트 압축과 모델 라우팅: 수백만 토큰에 달하는 긴 컨텍스트에서 어떤 정보가 중요하고 어떤 정보를 버릴 수 있는지 판단하고, 작업의 복잡도를 실시간으로 예측하여 경량 모델에 맡길지 플래그십 모델에 맡길지 결정하여 비용과 효과의 최적 배분을 실현합니다.

Jev 자주 묻는 질문

Q1: Jev이란 무엇인가요?

A1: Jev은 TypeSafe AI가 출시한 AI 구조화 의사결정 모델로, Transformer 기반이지만 텍스트를 생성하지 않고 사전 설정된 선택지 내에서 Choice(선택), Score(점수), Noul(참/거짓 판단) 세 가지 타입화된 의사결정을 반환하며 보정된 신뢰도가 함께 제공됩니다. 에이전트의 고빈도 판단 시나리오를 위해 설계되었습니다.

Q2: Jev과 대규모 언어 모델의 차이는 무엇인가요?

A2: Jev은 대규모 언어 모델이 아니며 문장을 출력하지 않고, 사용자가 사전 설정한 선택지와 타입 범위 내에서만 구조화된 의사결정을 반환하므로 형식 환각이 없습니다. 응답 지연은 약 70–500밀리초로 유사한 대규모 언어 모델보다 20~200배 빠르며, 도구 라우팅, 티켓 분류 등 고빈도 판단에 적합하고, 텍스트 생성은 생성 모델이 담당해야 합니다.

Q3: Jev의 응답 속도와 비용은 어떤가요?

A3: 종단 간 지연은 약 70–500밀리초이며 초당 약 10회의 결정 루프를 지원합니다. 과금은 입력 100만 토큰당 0.042달러, 출력 무료로 대량·고빈도의 판단형 호출에 적합합니다.

Q4: Jev은 어떤 시나리오에 적합한가요?

A4: 고빈도·저지연의 "무엇을 선택할까"형 판단이 필요한 시나리오에 적합합니다. 예를 들어 에이전트 도구 라우팅, 고객 지원 티켓 분류, 게임 AI의 기술 선택, 브라우저 자동화 작업, 그리고 긴 컨텍스트에서의 정보 선별과 모델 라우팅입니다.

자주 묻는 질문

Jev이란 무엇인가요?

Jev은 TypeSafe AI가 출시한 AI 구조화 의사결정 모델로, Transformer 기반이지만 텍스트를 생성하지 않고 사전 설정된 선택지 내에서 Choice(선택), Score(점수), Noul(참/거짓 판단) 세 가지 타입화된 의사결정을 반환하며 보정된 신뢰도가 함께 제공됩니다. 에이전트의 고빈도 판단 시나리오를 위해 설계되었습니다.

Jev과 대규모 언어 모델의 차이는 무엇인가요?

Jev은 대규모 언어 모델이 아니며 문장을 출력하지 않고, 사용자가 사전 설정한 선택지와 타입 범위 내에서만 구조화된 의사결정을 반환하므로 형식 환각이 없습니다. 응답 지연은 약 70–500밀리초로 유사한 대규모 언어 모델보다 20~200배 빠르며, 도구 라우팅, 티켓 분류 등 고빈도 판단에 적합하고, 텍스트 생성은 생성 모델이 담당해야 합니다.

Jev의 응답 속도와 비용은 어떤가요?

종단 간 지연은 약 70–500밀리초이며 초당 약 10회의 결정 루프를 지원합니다. 과금은 입력 100만 토큰당 0.042달러, 출력 무료로 대량·고빈도의 판단형 호출에 적합합니다.

Jev은 어떤 시나리오에 적합한가요?

고빈도·저지연의 "무엇을 선택할까"형 판단이 필요한 시나리오에 적합합니다. 예를 들어 에이전트 도구 라우팅, 고객 지원 티켓 분류, 게임 AI의 기술 선택, 브라우저 자동화 작업, 그리고 긴 컨텍스트에서의 정보 선별과 모델 라우팅입니다.