Czym jest Jev: model AI do strukturalnego podejmowania decyzji od TypeSafe AI zwracający typowane rozstrzygnięcia w 70 ms

Czym jest Jev

Jev to model AI do strukturalnego podejmowania decyzji, stworzony przez TypeSafe AI. Jego założycielem jest Diogo Almeida, były badacz OpenAI. Jev opiera się na architekturze Transformer, ale nie jest dużym modelem językowym — nie generuje zdań, a zwraca typowane decyzje w ramach wstępnie zdefiniowanych opcji: Choice (wybór opcji), Score (ocena), Noul (prawdopodobieństwo), wraz z poziomem pewności. Opóźnienie odpowiedzi modelu wynosi około 70–500 ms, a sam model jest przeznaczony do wysokoczęstotliwościowych scenariuszy decyzyjnych agentów, takich jak routing narzędzi, dystrybucja zgłoszeń i decyzje w grach.

Główne funkcje Jeva

• Choice — decyzja opcyjna: wybór najbardziej odpowiedniej opcji z wstępnie zdefiniowanej listy (maksymalnie 255 pozycji) z zwrotem wybranej opcji, rozkładu prawdopodobieństwa i poziomu pewności; przydatne w routingu i klasyfikacji.
• Score — ocena: przypisanie punktacji wejściu według własnej skali (np. 1–5) z zwrotem wyniku, prawdopodobieństwa i poziomu pewności; służy do pomiaru pilności, jakości lub poziomu ryzyka.
• Noul — rozstrzygnięcie tak/nie: zwraca wartość prawdopodobieństwa 0–1 dla stwierdzenia „czy to zdanie jest prawdziwe»; przydatne w binarnych decyzjach, np. czy przekazać sprawę człowiekowi, czy podjąć działanie.
• Równoległe wiele pytań: jedno wywołanie API może zadawać wiele pytań jednocześnie, dzieląc to samo wejście i oceniając je niezależnie i równolegle; dodanie pytań prawie nie zwiększa opóźnienia i nie powoduje degradacji kontekstu.
• Wyjście z poziomem pewności: Choice i Score dołączają skalibrowany wynik pewności, dzięki czemu kod może realizować dystrybucję — wysoka pewność oznacza automatyczne wykonanie, niska pewność oznacza eskalację do dużego modelu lub przekazanie człowiekowi.
• Typowane wyjście bez halucynacji: odpowiedzi są ściśle ograniczone do opcji i typów zdefiniowanych przez użytkownika, bez konieczności parsowania JSON, eliminując błędy formatu i odpowiedzi poza zakresem.
• Bardzo niskie opóźnienie: odpowiedź end-to-end w około 70–500 ms, 20–200 razy szybciej niż porównywalne duże modele językowe, z obsługą około 10 cykli decyzyjnych na sekundę.

Trzy formy wyjściowe Jeva

• Choice (decyzja opcyjna): wybór najbardziej odpowiedniej opcji z listy zdefiniowanej wcześniej przez użytkownika (maksymalnie 255 pozycji) z zwrotem wybranej opcji, rozkładu prawdopodobieństwa poszczególnych opcji oraz poziomu pewności; przeznaczone do scenariuszy „wielokrotnego wyboru», takich jak routing, klasyfikacja i wybór narzędzi.
• Score (ocena skalą): przypisanie punktacji stanowi wejścia według skali zdefiniowanej przez użytkownika, z zwrotem wyniku, rozkładu prawdopodobieństwa poszczególnych poziomów i poziomu pewności; przeznaczone do scenariuszy „ile punktów», takich jak ocena pilności, ocena jakości i klasyfikacja ryzyka.
• Noul (rozstrzygnięcie tak/nie): zwraca wartość prawdopodobieństwa z zakresu 0–1 dla stwierdzenia, czy dane twierdzenie jest prawdziwe, bez osobnego poziomu pewności; przeznaczone do binarnych decyzji, takich jak „czy przekazać sprawę człowiekowi» czy „czy wymagane jest podjęcie działania».

Powiązanie między trzema formami: można je dowolnie łączyć w ramach jednego wywołania API, dzieląc ten sam stan wejściowy i oceniając go niezależnie i równolegle — dodanie pytań prawie nie zwiększa opóźnienia i nie powoduje degradacji kontekstu.

Jak korzystać z Jeva

• Zarejestruj konto: odwiedź oficjalną stronę Jeva https://console.typesafe.ai/ — rejestracja pozwala od razu korzystać z usługi.
• Uzyskaj klucz API: utwórz i skopiuj klucz API w konsoli; służy on do uwierzytelnienia w kolejnych wywołaniach interfejsu.
• Przygotuj stan wejściowy (State): uporządkuj bieżącą sytuację w ustrukturyzowany tekst lub dane, np. stan gry, listę elementów strony czy treść wiadomości e-mail; Jev analizuje opis stanu, a nie pierwotny obraz.
• Zdefiniuj pytania (Questions): w zależności od potrzeb wybierz jedną z trzech podstawowych funkcji — Choice (decyzja opcyjna), Score (ocena skalą), Noul (rozstrzygnięcie tak/nie); każde pytanie powinno dotyczyć jednej konkretnej kwestii.
• Wyślij żądanie: przez REST API lub oficjalne SDK wyślij żądanie, umieszczając State i wiele pytań w ramach jednego wywołania; model oceni wszystkie pytania równolegle.
• Przetwórz typowane wyniki: uzyskaj bezpośrednio silnie typowane wyniki, takie jak opcja/wynik/prawdopodobieństwo i poziom pewności, bez konieczności pisania podpowiedzi JSON ani dodatkowych parserów — kod może je bezpośrednio wykorzystać.
• Łącz wiele pytań w kodzie: rozłóż złożoną decyzję na wiele pytań atomowych, a następnie waż i łącz wyniki poszczególnych wymiarów logiką kodu, zamiast każeć modelu rozstrzygać wszystko w ramach jednego pytania.
• Wdroż dystrybucję wg poziomu pewności: zaprojektuj strategię na podstawie zwracanego poziomu pewności, np. powyżej 90% — automatyczne wykonanie, 60–90% — eskalacja do dużego modelu, poniżej 60% — przekazanie człowiekowi.
• Kalibruj i weryfikuj na własnych danych: przed wdrożeniem automatycznych reguł decyzyjnych sprawdź na danych biznesowych, czy prawdopodobieństwa modelu pokrywają się z rzeczywistymi wynikami — nie wolno patrzeć tylko na pojedynczą wartość pewności.
• Korzystaj wspólnie z modelami generatywnymi: scenariusze wymagające generowania tekstu (np. wypełnianie treści formularzy) obsługuj oddzielnym modelem generatywnym, a Jev zajmuje się z wysoką częstotliwością wyłącznie etapem „który wybrać».

Kluczowe zalety Jeva

• Najwyższa prędkość: opóźnienie end-to-end wynosi jedynie 70–500 ms, czyli 20–200 razy szybciej niż porównywalne duże modele językowe, z obsługą około 10 cykli decyzyjnych na sekundę.
• Brak halucynacji formatu: wyjście jest ściśle ograniczone do opcji i typów zdefiniowanych przez użytkownika, bez konieczności parsowania JSON, eliminując błędne odpowiedzi i błędy formatu.
• Skalibrowany poziom pewności: zwraca skalibrowane rozkłady prawdopodobieństwa i wyniki pewności, na podstawie których kod może podejmować decyzje o automatycznym wykonaniu, eskalacji modelu lub interwencji człowieka.
• Równoległe wiele pytań: jedno wywołanie może oceniać wiele niezależnych pytań jednocześnie, dzieląc to samo wejście, prawie bez zwiększania opóźnienia i bez degradacji kontekstu.
• Rozdzielenie decyzji i generowania: wydzielenie „rozstrzygania» z pełnego generowania tekstu pozwala uniknąć używania dużego modelu do trywialnych zadań i skupić model generatywny na tym, co robi najlepiej — produkcji tekstu.
• Kompozycyjność w kodzie: atomowy projekt pytań pozwala utrwalić logikę biznesową w kodzie — zmiana priorytetów wymaga jedynie zmiany współczynników, a nie przepisania promptu, co zapewnia większą kontrolę i łatwość utrzymania.
• Uniwersalne rozumienie semantyki: oparta na architekturze Transformer, zapewnia uniwersalne rozumienie semantyki — przy częstych zmianach reguł i kandydatów nie ma potrzeby przeprogramowywania, jak w przypadku tradycyjnych klasyfikatorów.

Porównanie z podobnymi rozwiązaniami

Scenariusze zastosowań Jeva

• Routing agentów i harmonogramowanie narzędzi: wysokoczęstotliwościowe rozstrzyganie, czy bieżąca intencja wymaga wywołania wyszukiwania, bazy danych czy wykonania kodu, z wyborem wyłącznie z wstępnie zdefiniowanej listy prawidłowych interfejsów API — eliminuje to halucynowane nazwy narzędzi, a odpowiedzi w milisekundach wspierają szybkie cykle agentów.
• Dystrybucja zgłoszeń obsługi klienta: jedno wywołanie równolegle rozstrzyga przynależność zgłoszenia do zespołu, poziom pilności i kompletność informacji, pozwalając na automatyczną triażę milionów e-maili/zgłoszeń dziennie przy prawie zerowym koszcie.
• Decyzje w grach i symulacjach: przyjmowanie ustrukturyzowanych stanów wyprowadzanych przez silnik gry i wysokoczęstotliwościowy wybór ruchów z wstępnie zdefiniowanego zestawu akcji z prędkością około 10 razy na sekundę, napędzając graczy AI w grach takich jak DOOM i Mario.
• Automatyzacja przeglądarki: po numeracji elementów strony Jev krok po kroku rozstrzyga, który przycisk kliknąć i które pole wypełnić, przechodząc na model generatywny wyłącznie wtedy, gdy trzeba wygenerować tekst — dzięki czemu zadania takie jak wyszukiwanie biletów lotniczych, wymagające kilkunastu kroków, realizują się w kilka sekund.
• Kompresja kontekstu i routing modeli: w długim kontekście liczącym miliony tokenów rozstrzyganie, które informacje są kluczowe, a które można odrzucić, oraz prognozowanie złożoności zadania w czasie rzeczywistym, by zdecydować, czy przekazać je lekkiemu modelu, czy modelowi flagowemu — zapewniając optymalny podział kosztów i efektywności.

Najczęściej zadawane pytania

P1: Czym jest Jev?

O1: Jev to model AI do strukturalnego podejmowania decyzji, stworzony przez TypeSafe AI. Oparty na architekturze Transformer nie generuje tekstu, a zwraca trzy kategorie typowanych decyzji w ramach wstępnie zdefiniowanych opcji — Choice (wybór opcji), Score (ocena) i Noul (rozstrzygnięcie tak/nie) — wraz ze skalibrowanym poziomem pewności, i jest przeznaczony do wysokoczęstotliwościowych scenariuszy decyzyjnych agentów.

P2: Jak Jev różni się od dużych modeli językowych?

O2: Jev nie jest dużym modelem językowym — nie generuje zdań i zwraca wyłącznie strukturalne decyzje w ramach opcji i typów zdefiniowanych przez użytkownika, dlatego nie występują halucynacje formatu; opóźnienie odpowiedzi wynosi około 70–500 ms, czyli 20–200 razy szybciej niż porównywalne duże modele językowe, co sprawia, że nadaje się do wysokoczęstotliwościowych zadań, takich jak routing narzędzi i dystrybucja zgłoszeń, natomiast generowanie tekstu wciąż należy powierzyć modelom generatywnym.

P3: Jaką prędkość odpowiedzi i koszty ma Jev?

O3: Opóźnienie end-to-end wynosi około 70–500 ms, z obsługą około 10 cykli decyzyjnych na sekundę; rozliczenie wynosi 0,042 USD za milion tokenów wejściowych, a wyjście jest bezpłatne — co sprawia, że nadaje się do masowych, wysokoczęstotliwościowych wywołań decyzyjnych.

P4: Do jakich scenariuszy nadaje się Jev?

O4: Do scenariuszy wymagających wysokoczęstotliwościowych decyzji typu „który wybrać» z niskim opóźnieniem, takich jak routing narzędzi agentów, dystrybucja zgłoszeń obsługi klienta, wybór ruchów przez AI w grach, operacje automatyzacji przeglądarki, a także filtrowanie informacji i routing modeli w długim kontekście.