Ce este Jev: modelul de inteligență artificială pentru luarea structurată de decizii de la TypeSafe AI, care returnează decizii tipizate în 70 de milisecunde

Ce este Jev

Jev este un model de inteligență artificială pentru luarea structurată de decizii, lansat de TypeSafe AI. Fondatorul său este Diogo Almeida, fost cercetător OpenAI. Jev se bazează pe arhitectura Transformer, dar nu este un model mare de limbaj — nu generează propoziții, ci returnează decizii tipizate în cadrul opțiunilor predefinite: Choice (alegerea opțiunii), Score (punctaj), Noul (probabilitate), însoțite de nivelul de încredere. Latența de răspuns a modelului este de aproximativ 70–500 milisecunde, iar modelul este destinat scenariilor de decizie de înaltă frecvență ale agenților, precum rutarea instrumentelor, distribuirea tichetelor și deciziile în jocuri.

Funcțiile principale ale Jev

• Choice — decizie prin opțiuni: selectează cel mai potrivit element dintr-o listă de opțiuni predefinite (maximum 255 de poziții), returnând opțiunea aleasă, distribuția de probabilitate și nivelul de încredere; util pentru rutare și clasificare.
• Score — punctaj: acordă un punctaj intrării conform unei scale personalizate (de ex. 1–5 niveluri), returnând scorul, probabilitatea și nivelul de încredere; servește la măsurarea urgenței, calității sau nivelului de risc.
• Noul — decizie da/nu: returnează o valoare de probabilitate cuprinsă între 0 și 1 pentru enunțul „este adevărat acest statement»; util în deciziile binare, precum dacă trebuie transferat către un operator uman sau dacă trebuie luată o măsură.
• Mai multe întrebări în paralel: un singur apel API poate adresa mai multe întrebări simultan, împărțind aceeași intrare și evaluând-o independent și în paralel; adăugarea de întrebări aproape nu crește latența și nu provoacă degradarea contextului.
• Ieșire cu nivel de încredere: Choice și Score atașează un scor de încredere calibrat, permițând codului să realizeze distribuția sarcinilor — încredere mare înseamnă execuție automată, încredere mică înseamnă escaladare către un model mare sau transfer către operator uman.
• Ieșire tipizată fără halucinații: răspunsurile sunt strict limitate la opțiunile și tipurile definite de utilizator, fără necesitatea de parsare JSON, eliminând erorile de format și răspunsurile în afara domeniului.
• Latență foarte mică: răspuns end-to-end de aproximativ 70–500 milisecunde, de 20–200 de ori mai rapid decât modelele mari de limbaj comparabile, cu suport pentru circa 10 cicluri de decizie pe secundă.

Cele trei forme de ieșire ale Jev

• Choice (decizie prin opțiuni): selectează cel mai potrivit element din lista de opțiuni definită anterior de utilizator (maximum 255 de poziții), returnând opțiunea aleasă, distribuția de probabilitate a fiecărei opțiuni și nivelul de încredere; destinat scenariilor „alege unul din mai multe», precum rutarea, clasificarea și selectarea instrumentelor.
• Score (punctaj pe scală): acordă un punctaj stării de intrare conform scalei definite de utilizator, returnând scorul, distribuția de probabilitate a fiecărui nivel și nivelul de încredere; destinat scenariilor „cât de mult pe scară», precum evaluarea urgenței, notarea calității și clasificarea riscului.
• Noul (decizie da/nu): returnează o valoare de probabilitate cuprinsă între 0 și 1 pentru enunțul dacă o afirmație este adevărată, fără a returna separat nivelul de încredere; destinat deciziilor binare, precum „trebuie transferat către operator uman» sau „este necesară luarea unei măsuri».

Relația dintre cele trei forme: pot fi combinate oricând în cadrul aceluiași apel API, împărțind aceeași stare de intrare și evaluând-o independent și în paralel — adăugarea de întrebări aproape nu crește latența și nu provoacă degradarea contextului.

Cum se utilizează Jev

• Înregistrați un cont: accesați site-ul oficial Jev la https://console.typesafe.ai/ — înregistrarea permite utilizarea imediată.
• Obțineți cheia API: creați și copiați cheia API în consolă; aceasta servește la autentificarea apelurilor ulterioare ale interfeței.
• Pregătiți starea de intrare (State): structurați situația curentă sub formă de text sau date structurate, precum starea jocului, lista elementelor paginii sau conținutul e-mailului; Jev analizează descrierea stării, nu imaginea originală.
• Definiți întrebările (Questions): în funcție de necesități, alegeți una dintre cele trei primitive — Choice (decizie prin opțiuni), Score (punctaj pe scală), Noul (decizie da/nu); fiecare întrebare trebuie să se refere la un singur aspect concret.
• Trimiteți cererea: prin REST API sau SDK-ul oficial trimiteți cererea, plasând State și mai multe întrebări în același apel; modelul va evalua toate întrebările în paralel.
• Prelucrați rezultatele tipizate: obțineți direct rezultate puternic tipizate, precum opțiunea/scorul/probabilitatea și nivelul de încredere, fără a scrie prompturi JSON sau parsere suplimentare — codul le poate consuma direct.
• Combinați mai multe întrebări în cod: descompuneți deciziile complexe în mai multe întrebări atomice, apoi ponderați și combinați rezultatele fiecărei dimensiuni cu logica codului, în loc să lăsați modelul să cântărească totul într-o singură întrebare.
• Implementați distribuția pe nivel de încredere: proiectați strategia pe baza nivelului de încredere returnat, de ex. peste 90% — execuție automată, 60–90% — escaladare către un model mare, sub 60% — transfer către operator uman.
• Calibrați și verificați cu date proprii: înainte de a pune în funcțiune reguli automate de decizie, verificați pe datele afacerii dacă probabilitățile modelului corespund rezultatelor reale — nu vă uitați doar la valoarea de încredere a unui singur caz.
• Utilizați împreună cu modele generative: scenariile care necesită generarea de text (de ex. completarea conținutului formularelor) sunt tratate prin apelarea separată a unui model generativ, iar Jev se ocupă exclusiv de etapa de înaltă frecvență „pe care o aleg».

Avantajele cheie ale Jev

• Viteză supremă: latența end-to-end este de doar 70–500 milisecunde, adică de 20–200 de ori mai rapidă decât modelele mari de limbaj comparabile, cu suport pentru circa 10 cicluri de decizie pe secundă.
• Fără halucinații de format: ieșirea este strict limitată la opțiunile și tipurile definite de utilizator, fără necesitatea de parsare JSON, eliminând răspunsurile eronate și erorile de format.
• Nivel de încredere calibrat: returnează distribuții de probabilitate și scoruri de încredere calibrate, pe baza cărora codul poate lua decizii de execuție automată, escaladare a modelului sau intervenție umană.
• Mai multe întrebări în paralel: un singur apel poate evalua mai multe întrebări independente simultan, împărțind aceeași intrare, aproape fără a crește latența și fără degradarea contextului.
• Decuplarea deciziei de generare: separarea „judecății» de generarea completă de text evită folosirea unui model mare pentru sarcini triviale și lasă modelul generativ să se concentreze asupra punctului său forte — producția de text.
• Compozabilitate în cod: designul atomic al întrebărilor face ca logica de afaceri să se consolideze în cod — schimbarea priorităților necesită doar modificarea coeficienților, nu rescrierea promptului, oferind mai mult control și mai bună mentenabilitate.
• Înțelegere semantică generală: bazat pe arhitectura Transformer, oferă capacitate de înțelegere semantică generală — la schimbări frecvente ale regulilor și candidaților, nu este necesară reantrenarea, ca în cazul clasificatoarelor tradiționale.

Comparație cu produse concurente similare

Scenarii de utilizare ale Jev

• Rutarea agenților și programarea instrumentelor: judecată de înaltă frecvență asupra intenției curente — dacă trebuie apelată căutarea, baza de date sau execuția de cod — alegând exclusiv dintr-o listă predefinită de API-uri valide; elimină numele de instrumente halucinate și, prin răspunsuri de ordinul milisecundelor, susține ciclurile rapide ale agenților.
• Distribuirea tichetelor de asistență clienți: un singur apel judecă în paralel echipa însărcinată, gradul de urgență și caracterul complet al informațiilor, permițând triajul automat a milioane de e-mailuri/tichete pe zi la un cost apropiat de zero.
• Decizii în jocuri și simulări: primește stări structurate produse de motorul jocului și selectează mișcări din setul predefinit de acțiuni cu o frecvență de circa 10 pe secundă, acționând jucătorii AI în jocuri precum DOOM și Mario.
• Automatizarea browserului: după numerotarea elementelor paginii, Jev decide pas cu pas ce buton să apese și ce câmp să completeze, trecând la modelul generativ numai atunci când trebuie produs text — astfel, sarcini precum căutarea de bilete de avion, care necesită zeci de pași, se finalizează în câteva secunde.
• Compresia contextului și rutarea modelelor: în contexte lungi de milioane de tokeni, judecarea informațiilor esențiale față de cele care pot fi eliminate și prezicerea în timp real a complexității sarcinii, pentru a decide dacă aceasta se trimite unui model ușor sau unuia de top — asigurând alocarea optimă a costurilor și a eficienței.

Întrebări frecvente

Î1: Ce este Jev?

R1: Jev este un model de inteligență artificială pentru luarea structurată de decizii, lansat de TypeSafe AI. Bazat pe arhitectura Transformer, nu generează text, ci returnează trei categorii de decizii tipizate în cadrul opțiunilor predefinite — Choice (alegerea opțiunii), Score (punctaj) și Noul (decizie da/nu) — însoțite de nivel de încredere calibrat, și este destinat scenariilor de decizie de înaltă frecvență ale agenților.

Î2: Care este diferența dintre Jev și modelele mari de limbaj?

R2: Jev nu este un model mare de limbaj — nu generează propoziții și returnează exclusiv decizii structurate în cadrul opțiunilor și tipurilor definite de utilizator, de aceea nu există halucinații de format; latența de răspuns este de aproximativ 70–500 milisecunde, adică de 20–200 de ori mai rapidă decât modelele mari de limbaj comparabile, ceea ce îl face potrivit pentru sarcini de înaltă frecvență, precum rutarea instrumentelor și distribuirea tichetelor, în vreme ce generarea de text rămâne în responsabilitatea modelelor generative.

Î3: Care sunt viteza de răspuns și costurile Jev?

R3: Latența end-to-end este de aproximativ 70–500 milisecunde, cu suport pentru circa 10 cicluri de decizie pe secundă; facturarea este de 0,042 USD per milion de tokeni de intrare, iar ieșirea este gratuită — ceea ce îl face potrivit pentru apeluri de decizie în masă și de înaltă frecvență.

Î4: Pentru ce scenarii este potrivit Jev?

R4: Pentru scenarii care necesită decizii de tip „pe care o aleg» de înaltă frecvență și latență mică, precum rutarea instrumentelor agenților, distribuirea tichetelor de asistență clienți, selectarea mișcărilor AI în jocuri, operațiunile de automatizare a browserului, precum și filtrarea informațiilor și rutarea modelelor în contexte lungi.