Che cos'è Jev: il modello decisionale strutturato basato su AI di TypeSafe AI che restituisce giudizi tipizzati in 70 millisecondi

Che cos'è Jev

Jev è un modello decisionale strutturato basato su AI di TypeSafe AI, fondato dall'ex ricercatore di OpenAI Diogo Almeida. Jev si basa su Transformer ma non è un grande modello linguistico; non produce frasi, ma restituisce decisioni tipizzate all'interno di opzioni predefinite: Choice (opzione), Score (punteggio), Noul (probabilità), con livello di confidenza. La latenza di risposta del modello è di circa 70–500 millisecondi, progettata specificamente per scenari di giudizio ad alta frequenza degli agenti, come il routing degli strumenti, lo smistamento dei ticket e le decisioni di gioco.

Funzionalità principali di Jev

• Decisione a opzioni Choice: seleziona la voce più adatta da un elenco di opzioni predefinito (fino a 255), restituendo opzione, distribuzione di probabilità e confidenza — adatto a routing e classificazione.
• Punteggio Score: assegna un punteggio all'input in base a una scala personalizzata (ad es. 1–5 livelli), restituendo punteggio, probabilità e confidenza — per misurare urgenza, qualità o livello di rischio.
• Noul è un giudizio binario: produce un valore di probabilità 0–1 per "questa affermazione è vera" — adatto a giudizi binari come la necessità di escalation a un umano o di un'azione.
• Domande multiple in parallelo: una singola chiamata API può porre più domande contemporaneamente, condividendo lo stesso input con valutazione indipendente in parallelo — aggiungere domande non aumenta quasi la latenza e non produce degrado del contesto.
• Output di confidenza: Choice e Score sono accompagnati da punteggi di confidenza calibrati, così il codice può instradare di conseguenza — alta confidenza esecuzione automatica, bassa confidenza escalation a un grande modello o a un umano.
• Output tipizzato senza allucinazioni: strettamente limitato alle opzioni e ai tipi predefiniti dall'utente, nessun parsing JSON necessario, eliminando errori di formato e risposte fuori limite.
• Latenza ultra-bassa: risposta end-to-end di circa 70–500 millisecondi, 20–200 volte più veloce dei grandi modelli linguistici comparabili, supportando loop decisionali ad alta frequenza di circa 10 al secondo.

Le tre forme di output di Jev

• Choice (decisione a opzioni): seleziona la voce più adatta da un elenco di opzioni predefinito dall'utente (fino a 255), restituendo l'opzione scelta, la distribuzione di probabilità delle opzioni e la confidenza — adatto a scenari "scegli uno" come routing, classificazione e selezione di strumenti.
• Score (punteggio su scala): assegna un punteggio allo stato di input in base a una scala definita dall'utente, restituendo punteggio, distribuzione di probabilità dei livelli e confidenza — adatto a scenari "che voto dare" come valutazione dell'urgenza, rating di qualità e classificazione del rischio.
• Noul (giudizio binario): produce un valore di probabilità tra 0–1 sulla verità di un'affermazione, senza restituire una confidenza separata — adatto a scenari di giudizio binario come "serve escalation a un umano" e "è richiesta un'azione".

Relazione tra i tre: possono essere combinati liberamente nella stessa chiamata API, condividendo lo stesso stato di input con valutazione indipendente in parallelo — aggiungere domande non aumenta quasi la latenza e non produce degrado del contesto.

Come usare Jev

• Registra un account: visita il sito ufficiale di Jev https://console.typesafe.ai/ — la registrazione consente l'uso immediato.
• Ottieni una API Key: crea e copia una API Key nella console per l'autenticazione delle successive chiamate API.
• Prepara lo stato di input (State): organizza la situazione attuale in testo o dati strutturati, come lo stato del gioco, l'elenco degli elementi della pagina web, il contenuto delle e-mail — Jev legge descrizioni di stato, non immagini grezze.
• Definisci le domande (Questions): scegli tra le tre primitive in base alle esigenze — Choice (decisione a opzioni), Score (punteggio su scala), Noul (giudizio binario); ogni domanda chiede una sola cosa concreta.
• Invia la richiesta: invia richieste tramite REST API o SDK ufficiale, con State e più domande nella stessa chiamata; il modello valuta tutte le domande in parallelo.
• Analizza i risultati tipizzati: ottieni direttamente risultati fortemente tipizzati come opzioni/punteggi/probabilità e confidenza — nessun prompt JSON o parser aggiuntivo necessario; il codice può consumarli direttamente.
• Combina più domande nel codice: scomponi giudizi complessi in domande atomiche, poi pondera e combina i risultati di ogni dimensione con la logica del codice, anziché lasciare che il modello soppesi tutto in un'unica domanda.
• Integra l'instradamento per confidenza: progetta strategie basate sulla confidenza restituita — ad es. sopra il 90% esecuzione automatica, 60–90% escalation a un grande modello, sotto il 60% passaggio a un umano.
• Calibra e valida con i tuoi dati: prima di attivare regole decisionali automatiche, verifica con i dati aziendali se le probabilità del modello corrispondono ai risultati reali — non affidarti a un singolo valore di confidenza.
• Usalo insieme ai modelli di generazione: per scenari che richiedono produzione di testo (come la compilazione di moduli), chiama separatamente un modello di generazione — Jev si occupa esclusivamente della fase di giudizio ad alta frequenza "quale scegliere".

Vantaggi chiave di Jev

• Velocità estrema: latenza end-to-end di soli 70–500 millisecondi, 20–200 volte più veloce dei grandi modelli linguistici comparabili, supportando loop decisionali ad alta frequenza di circa 10 al secondo.
• Nessuna allucinazione di formato: l'output è strettamente limitato alle opzioni e ai tipi predefiniti dall'utente, nessun parsing JSON necessario, eliminando risposte fuori limite ed errori di formato.
• Confidenza calibrata: restituisce distribuzioni di probabilità e punteggi di confidenza calibrati, così il codice può prendere decisioni di instradamento — esecuzione automatica, escalation del modello o intervento umano.
• Domande multiple in parallelo: una singola chiamata può valutare più domande indipendenti contemporaneamente, condividendo lo stesso input, senza aumentare quasi la latenza e senza produrre degrado del contesto.
• Disaccoppiamento decisione/generazione: separa il "giudizio" dalla generazione completa di testo, evitando di usare un grande modello per compiti banali, lasciando che i modelli di generazione si concentrino sulla produzione di testo in cui eccellono.
• Componibile nel codice: la progettazione atomica delle domande consolida la logica di business nel codice — i cambi di priorità richiedono solo di modificare i coefficienti anziché riscrivere i prompt, con maggiore controllabilità e manutenibilità.
• Comprensione semantica generale: basato sull'architettura Transformer, con capacità di comprensione semantica generale — quando regole e candidati cambiano frequentemente, non è necessario riaddestrare come con i classificatori tradizionali.

Confronto con concorrenti simili

Scenari di applicazione di Jev

• Routing degli agenti e scheduling degli strumenti: giudizio ad alta frequenza sull'intenzione corrente — chiamare ricerca, database o esecuzione di codice — scegliendo solo da un elenco predefinito di API valide, eliminando i nomi di strumenti allucinati e supportando il ciclo rapido dell'agente con risposte dell'ordine dei millisecondi.
• Smistamento dei ticket del servizio clienti: una singola chiamata giudica in parallelo il team assegnatario, l'urgenza e la completezza delle informazioni di un ticket, permettendo a milioni di e-mail/ticket giornalieri di essere smistati automaticamente a costo quasi nullo.
• Decisioni di gioco e simulazione: riceve stati strutturati dai motori di gioco, effettua selezioni di mosse ad alta frequenza a circa 10 al secondo all'interno di un set di azioni predefinito, guidando i giocatori IA di giochi come DOOM e Mario.
• Automazione del browser: numera gli elementi della pagina e lascia che Jev decida passo dopo passo quale pulsante cliccare e quale campo compilare — passando a un modello di generazione solo quando è necessaria produzione di testo, completando compiti come la ricerca di voli in una dozzina di passaggi in pochi secondi.
• Compressione del contesto e routing dei modelli: in contesti lunghi di milioni di token, giudica quali informazioni sono critiche e quali possono essere scartate, e prevede in tempo reale la complessità del compito per decidere se assegnarlo a un modello leggero o a uno di punta, realizzando un'allocazione ottimale di costo ed efficacia.

Domande frequenti

D1: Che cos'è Jev?

R1: Jev è un modello decisionale strutturato basato su AI di TypeSafe AI, basato su Transformer ma che non genera testo — restituisce invece tre tipi di decisioni tipizzate all'interno di opzioni predefinite: Choice (opzione), Score (punteggio), Noul (giudizio binario), con confidenza calibrata, progettato per scenari di giudizio ad alta frequenza degli agenti.

D2: Qual è la differenza tra Jev e i grandi modelli linguistici?

R2: Jev non è un grande modello linguistico; non produce frasi e restituisce solo decisioni strutturate all'interno di opzioni e tipi predefiniti dall'utente, quindi non ci sono allucinazioni di formato; la latenza di risposta è di circa 70–500 millisecondi, 20–200 volte più veloce dei grandi modelli linguistici comparabili, adatto a giudizi ad alta frequenza come il routing degli strumenti e lo smistamento dei ticket — la generazione di testo deve comunque essere affidata ai modelli di generazione.

D3: Quali sono la velocità di risposta e il costo di Jev?

R3: latenza end-to-end di circa 70–500 millisecondi, supportando loop decisionali di circa 10 al secondo; fatturazione di 0,042 dollari per milione di token di input, output gratuito, adatto a chiamate di giudizio in grandi volumi e ad alta frequenza.

D4: A quali scenari è adatto Jev?

R4: a scenari che richiedono giudizi "quale scegliere" ad alta frequenza e bassa latenza, come il routing degli strumenti per agenti, lo smistamento dei ticket del servizio clienti, la selezione di mosse per l'IA di gioco, le operazioni di automazione del browser, oltre al filtraggio delle informazioni e al routing dei modelli nei contesti lunghi.