內容摘要

Jev 是 TypeSafe AI 的 AI 結構化決策模型,不輸出句子,而是在預設選項內回傳 Choice(選項)、Score(評分)、Noul(是非判斷)三類型化決策及校準置信度,延遲約 70–500 毫秒、比同類大型語言模型快 20–200 倍,支援一次呼叫並行評估多個問題,適合 Agent 高頻判斷場景。

Jev是什麼

Jev 是 TypeSafe AI 推出的 AI 結構化決策模型,創辦人是前 OpenAI 研究員 Diogo Almeida。Jev 基於 Transformer 但不是大型語言模型,不會輸出句子,而是在預設選項內回傳類型化決策:Choice(選項)、Score(評分)、Noul(機率),附帶置信度。模型回應延遲約 70–500 毫秒,專用於 Agent 高頻判斷場景,如工具路由、工單分流、遊戲決策。

Jev的主要功能

  • Choice 選項決策:從預設的選項清單(最多 255 個)中選出最合適的一項,回傳選項、機率分布和置信度,適用於路由和分類。
  • Score 評分:將輸入依自訂量表(如 1–5 級)評分,回傳分數、機率和置信度,用於衡量緊迫度、品質或風險等級。
  • Noul 是非判斷:對「這條陳述是否為真」輸出一個 0–1 的機率值,適用於是否需要轉人工、是否需採取行動等二元判斷。
  • 並行多問題:一次 API 呼叫可同時混問多個問題,共享同一份輸入、獨立並行評估,加問題幾乎不增加延遲也不產生上下文腐化。
  • 置信度輸出:Choice 和 Score 附帶校準後的置信度評分,程式可據此做分流——高置信自動執行、低置信升級大型模型或轉人工。
  • 無幻覺類型化輸出:嚴格限定在使用者預設的選項和類型範圍內回傳,無需 JSON 解析,杜絕格式錯誤和越界亂答。
  • 極低延遲:端到端回應約 70–500 毫秒,比同類大型語言模型快 20–200 倍,支援每秒約 10 次的高頻決策循環。

Jev 的三種輸出形態

  • Choice(選項決策):從使用者預先定義的選項清單中(最多 255 個)選出最合適的一項,回傳所選選項、各選項的機率分布以及置信度,適用於路由、分類、工具選擇等「多選一」場景。
  • Score(量表評分):將輸入狀態依使用者劃分的評分量表評分,回傳分數、各級別機率分布和置信度,適用於緊迫度評估、品質評級、風險分級等「打幾分」場景。
  • Noul(是非判斷):對一條陳述是否為真輸出一個 0–1 之間的機率值,不單獨回傳置信度,適用「是否需要轉人工」「是否要求採取行動」等二元判斷場景。

三者關係:可在同一次 API 呼叫中任意混用,共享同一份輸入狀態、並行獨立評估——加問題幾乎不增加延遲,也不會產生上下文腐化。

如何使用Jev

  • 註冊帳號:造訪 Jev 官網 https://console.typesafe.ai/ ,註冊可直接使用。
  • 取得 API Key:在主控台建立並複製 API Key,用於後續的介面呼叫驗證。
  • 準備輸入狀態(State):把當前局面整理成結構化的文字或資料,如遊戲狀態、網頁元素清單、郵件內容等,Jev 看的是狀態描述而非原始畫面。
  • 定義問題(Questions):依需求選用三種原型——Choice(選項決策)、Score(量表評分)、Noul(是非判斷),每個問題只問一件具體的事。
  • 發送請求呼叫:透過 REST API 或官方 SDK 發送請求,State 和多個問題放在同一次呼叫中,模型會並行評估所有問題。
  • 解析類型化結果:直接取得選項/分數/機率及置信度等強類型結果,無需撰寫 JSON 提示詞或額外解析器,程式可直接消費。
  • 用程式碼組合多問題:把複雜判斷拆成多個原子問題後,用程式邏輯加權組合各維度結果,而非讓模型在一次提問內權衡。
  • 接入置信度分流:依回傳的置信度設計策略,如高於 90% 自動執行、60–90% 升級呼叫大型模型、低於 60% 轉人工。
  • 用自有資料校準驗證:上線自動決策規則前,先用業務資料檢驗模型機率與實際結果是否相符,不能只看單次置信度數值。
  • 與生成模型搭配使用:需要產出文字的場景(如填寫表單內容)另行呼叫生成模型,Jev 專責負責「選哪個」的高頻判斷環節。

Jev的核心優勢

  • 極致速度:端到端延遲僅 70–500 毫秒,比同類大型語言模型快 20–200 倍,支援每秒約 10 次高頻決策循環。
  • 無格式幻覺:輸出嚴格限定在使用者預設的選項和類型範圍內,無需 JSON 解析,杜絕亂答和格式錯誤。
  • 校準置信度:回傳經過校準的機率分布和置信度評分,程式可據此做自動執行、模型升級或人工介入的分流決策。
  • 並行多問題:一次呼叫可同時評估多個獨立問題,共享同一份輸入且幾乎不增加延遲、不產生上下文腐化。
  • 決策與生成解耦:把「判斷」從完整文字生成中剝離出來,避免為大型模型殺雞用牛刀,讓生成模型專注其擅長的文章產出。
  • 程式碼可組合:原子化問題設計讓業務邏輯沉澱在程式碼中,優先級變化只需改係數而非重寫 prompt,可控性和可維護性更強。
  • 語意理解通用:基於 Transformer 架構,具備通用語意理解能力,規則和候選頻繁變化時無需像傳統分類器那樣重新訓練。

Jev的同類競品比較

比較維度 Jev(System One 決策模型) Gemini 2.5 Flash(通用 LLM 做分類判斷)
模型本質 專為決策訓練的分類模型,無文字生成能力 通用自迴歸多模態大型模型,文字生成是主業
回應延遲 70–500 毫秒,穩定可預期 數百毫秒至數秒,受 prompt 長度和輸出 token 影響大
呼叫成本 輸入 0.042 美元/百萬 Token,輸出免費 輸入輸出雙向計費,綜合成本高 10–20 倍
分類準確率 社群實測商業郵件分類中略低於 Gemini 通用任務上準確率更高,語意理解更全面
輸出形態 類型化決策+機率分布+校準置信度 自由文字或約束 JSON,無原生校準置信度
幻覺控制 嚴格限定預設選項,無格式幻覺 存在越界輸出、欄位漂移的可能
多任務並行 一次呼叫並行評估多個獨立問題,零額外延遲 需串列多次呼叫或拼裝複雜 prompt,易上下文腐化
多模態能力 僅處理結構化文字狀態 原生支援圖文影音,可直接「看圖判斷」

Jev的應用場景

  • Agent 路由與工具調度:高頻判斷當前意圖該呼叫搜尋、資料庫還是程式執行,只從預設的有效 API 清單中選擇,消除幻覺工具名的同時用毫秒級回應支撐 Agent 的快速循環。
  • 客服工單分流:一次呼叫並行判斷工單的歸屬團隊、緊急程度和資訊是否齊全,讓每天百萬級的郵件/工單以近乎零成本完成自動分診。
  • 遊戲與模擬決策:接收遊戲引擎輸出的結構化狀態,在預設動作集內以每秒約 10 次的速度高頻選招,驅動 DOOM、Mario 等遊戲的 AI 玩家。
  • 瀏覽器自動化:將頁面元素編號後由 Jev 逐步決定點擊哪個按鈕、填寫哪個輸入框,僅在需要產出文字時才轉呼叫生成模型,實現查機票等任務十幾步操作僅數秒完成。
  • 上下文壓縮與模型路由:在百萬級 Token 的長上下文中判斷哪些資訊關鍵、哪些可丟棄,並即時預測任務複雜度以決定派給輕量模型還是旗艦模型,實現成本與效果的最佳分配。

Jev的常見問題

Q1:Jev 是什麼?

**A1:**Jev 是 TypeSafe AI 推出的 AI 結構化決策模型,基於 Transformer 但不生成文字,而是在預設選項內回傳 Choice(選項)、Score(評分)、Noul(是非判斷)三類型化決策,附帶校準置信度,專為 Agent 高頻判斷場景設計。

Q2:Jev 和大型語言模型有什麼區別?

**A2:**Jev 不是大型語言模型,不輸出句子,只在使用者預設的選項和類型範圍內回傳結構化決策,因此沒有格式幻覺;回應延遲約 70–500 毫秒,比同類大型語言模型快 20–200 倍,適合工具路由、工單分流等高頻判斷,文字生成仍需交給生成模型。

Q3:Jev 的回應速度和成本如何?

**A3:**端到端延遲約 70–500 毫秒,支援每秒約 10 次決策循環;計費為輸入 0.042 美元/百萬 Token、輸出免費,適合大批量、高頻次的判斷型呼叫。

Q4:Jev 適合哪些場景?

**A4:**適合需要高頻、低延遲「選哪個」型判斷的場景,如 Agent 工具路由、客服工單分流、遊戲 AI 選招、瀏覽器自動化操作,以及長上下文中的資訊篩選與模型路由。

常見問題

Jev 是什麼?

Jev 是 TypeSafe AI 推出的 AI 結構化決策模型,基於 Transformer 但不生成文字,而是在預設選項內回傳 Choice(選項)、Score(評分)、Noul(是非判斷)三類型化決策,附帶校準置信度,專為 Agent 高頻判斷場景設計。

Jev 和大型語言模型有什麼區別?

Jev 不是大型語言模型,不輸出句子,只在使用者預設的選項和類型範圍內回傳結構化決策,因此沒有格式幻覺;回應延遲約 70–500 毫秒,比同類大型語言模型快 20–200 倍,適合工具路由、工單分流等高頻判斷,文字生成仍需交給生成模型。

Jev 的回應速度和成本如何?

端到端延遲約 70–500 毫秒,支援每秒約 10 次決策循環;計費為輸入 0.042 美元/百萬 Token、輸出免費,適合大批量、高頻次的判斷型呼叫。

Jev 適合哪些場景?

適合需要高頻、低延遲「選哪個」型判斷的場景,如 Agent 工具路由、客服工單分流、遊戲 AI 選招、瀏覽器自動化操作,以及長上下文中的資訊篩選與模型路由。