Jev là gì: Mô hình quyết định có cấu trúc AI của TypeSafe AI, trả quyết định có kiểu trong 70 mili giây

Jev là gì

Jev là mô hình quyết định có cấu trúc (structured decision) do TypeSafe AI phát triển, người sáng lập là cựu nhà nghiên cứu OpenAI Diogo Almeida. Jev dựa trên Transformer nhưng không phải là mô hình ngôn ngữ lớn; nó không sinh ra câu văn mà trả về quyết định có kiểu trong phạm vi các lựa chọn được định sẵn: Choice (Lựa chọn), Score (Điểm số), Noul (Xác suất), kèm theo độ tin cậy (confidence). Độ trễ phản hồi của mô hình khoảng 70–500 mili giây, được thiết kế riêng cho các kịch bản quyết định tần suất cao của Agent, như định tuyến công cụ, phân luồng ticket, và quyết định trong game.

Chức năng chính của Jev

• Quyết định lựa chọn (Choice): Chọn một mục phù hợp nhất từ danh sách lựa chọn định sẵn (tối đa 255), trả về lựa chọn, phân phối xác suất và độ tin cậy; phù hợp cho định tuyến và phân loại.
• Chấm điểm (Score): Chấm điểm đầu vào theo thang đo tùy chỉnh (ví dụ 1–5 mức), trả về điểm số, xác suất và độ tin cậy; dùng để đo mức độ khẩn cấp, chất lượng hoặc cấp độ rủi ro.
• Phán đoán đúng/sai (Noul): Xuất ra một giá trị xác suất từ 0–1 cho câu hỏi "phát biểu này có đúng không"; phù hợp cho các phán đoán nhị phân như có cần chuyển sang người thật hay không, có cần thực hiện hành động hay không.
• Đa câu hỏi song song: Một lần gọi API có thể hỏi đồng thời nhiều câu hỏi, dùng chung một đầu vào, đánh giá song song độc lập; thêm câu hỏi gần như không làm tăng độ trễ và không tạo ra suy giảm ngữ cảnh.
• Đầu ra độ tin cậy: Choice và Score kèm theo điểm độ tin cậy đã hiệu chỉnh, mã nguồn có thể dựa vào đó để phân luồng — độ tin cậy cao thì tự động thực thi, độ tin cậy thấp thì nâng cấp lên mô hình lớn hoặc chuyển sang người thật.
• Đầu ra có kiểu, không ảo giác: Chỉ trả về trong phạm vi lựa chọn và kiểu do người dùng định sẵn, không cần phân tích JSON, loại bỏ lỗi định dạng và câu trả lời vượt giới hạn.
• Độ trễ cực thấp: Phản hồi đầu-cuối khoảng 70–500 mili giây, nhanh hơn 20–200 lần so với các mô hình ngôn ngữ lớn cùng loại, hỗ trợ vòng lặp quyết định tần suất cao khoảng 10 lần mỗi giây.

Ba hình thái đầu ra của Jev

• Choice (Quyết định lựa chọn): Chọn một mục phù hợp nhất từ danh sách lựa chọn do người dùng định sẵn (tối đa 255), trả về lựa chọn đã chọn, phân phối xác suất của từng lựa chọn và độ tin cậy; phù hợp cho các kịch bản "chọn một trong nhiều" như định tuyến, phân loại, chọn công cụ.
• Score (Chấm điểm theo thang đo): Chấm điểm trạng thái đầu vào theo thang điểm do người dùng phân định, trả về điểm số, phân phối xác suất của từng mức và độ tin cậy; phù hợp cho các kịch bản "chấm bao nhiêu điểm" như đánh giá mức độ khẩn cấp, xếp hạng chất lượng, phân cấp rủi ro.
• Noul (Phán đoán đúng/sai): Xuất ra một giá trị xác suất trong khoảng 0–1 cho việc một phát biểu có đúng hay không, không trả về độ tin cậy riêng; phù hợp cho các kịch bản phán đoán nhị phân như "có cần chuyển sang người thật", "có yêu cầu thực hiện hành động".

Quan hệ giữa ba loại: Có thể kết hợp tùy ý trong cùng một lần gọi API, dùng chung một trạng thái đầu vào, đánh giá song song độc lập — thêm câu hỏi gần như không làm tăng độ trễ, cũng không tạo ra suy giảm ngữ cảnh.

Cách sử dụng Jev

• Đăng ký tài khoản: Truy cập trang chủ của Jev https://console.typesafe.ai/ , đăng ký là có thể dùng ngay.
• Lấy API Key: Tạo và sao chép API Key trong bảng điều khiển, dùng để xác thực cho các lần gọi API sau này.
• Chuẩn bị trạng thái đầu vào (State): Sắp xếp tình huống hiện tại thành văn bản hoặc dữ liệu có cấu trúc, như trạng thái game, danh sách phần tử trang web, nội dung email; Jev nhìn vào mô tả trạng thái chứ không phải hình ảnh gốc.
• Định nghĩa câu hỏi (Questions): Tùy nhu cầu chọn một trong ba nguyên thủy — Choice (Quyết định lựa chọn), Score (Chấm điểm theo thang đo), Noul (Phán đoán đúng/sai); mỗi câu hỏi chỉ hỏi một việc cụ thể.
• Gửi yêu cầu gọi: Gửi yêu cầu qua REST API hoặc SDK chính thức; State và nhiều câu hỏi đặt trong cùng một lần gọi, mô hình sẽ đánh giá song song tất cả câu hỏi.
• Phân tích kết quả có kiểu: Nhận trực tiếp kết quả kiểu mạnh như lựa chọn/điểm số/xác suất và độ tin cậy; không cần viết prompt JSON hay bộ phân tích bổ sung, mã nguồn có thể tiêu thụ trực tiếp.
• Kết hợp đa câu hỏi bằng mã nguồn: Sau khi tách phán đoán phức tạp thành nhiều câu hỏi nguyên tử, dùng logic mã nguồn để kết hợp có trọng số kết quả từng chiều, thay vì để mô hình cân bằng hết trong một câu hỏi.
• Tích hợp phân luồng theo độ tin cậy: Thiết kế chiến lược dựa trên độ tin cậy trả về, như trên 90% thì tự động thực thi, 60–90% thì nâng cấp gọi mô hình lớn, dưới 60% thì chuyển sang người thật.
• Hiệu chỉnh xác minh bằng dữ liệu của bạn: Trước khi đưa quy tắc quyết định tự động lên môi trường, hãy dùng dữ liệu kinh doanh kiểm tra xác suất của mô hình có khớp với kết quả thực tế không, không thể chỉ nhìn vào giá trị độ tin cậy một lần.
• Kết hợp với mô hình sinh nội dung: Các kịch bản cần sinh văn bản (như điền nội dung biểu mẫu) hãy gọi riêng mô hình sinh nội dung; Jev chuyên phụ trách khâu quyết định tần suất cao "chọn cái nào".

Ưu thế cốt lõi của Jev

• Tốc độ cực nhanh: Độ trễ đầu-cuối chỉ 70–500 mili giây, nhanh hơn 20–200 lần so với các mô hình ngôn ngữ lớn cùng loại, hỗ trợ vòng lặp quyết định tần suất cao khoảng 10 lần mỗi giây.
• Không ảo giác định dạng: Đầu ra giới hạn nghiêm ngặt trong phạm vi lựa chọn và kiểu do người dùng định sẵn, không cần phân tích JSON, loại bỏ câu trả lời sai lệch và lỗi định dạng.
• Độ tin cậy đã hiệu chỉnh: Trả về phân phối xác suất và điểm độ tin cậy đã hiệu chỉnh, mã nguồn có thể dựa vào đó ra quyết định phân luồng tự động thực thi, nâng cấp mô hình hoặc can thiệp của người thật.
• Đa câu hỏi song song: Một lần gọi có thể đánh giá đồng thời nhiều câu hỏi độc lập, dùng chung một đầu vào, gần như không làm tăng độ trễ, không tạo ra suy giảm ngữ cảnh.
• Tách biệt quyết định và sinh nội dung: Tách "quyết định" ra khỏi việc sinh văn bản đầy đủ, tránh dùng mô hình lớn cho việc nhỏ, để mô hình sinh nội dung tập trung vào thế mạnh sản xuất văn bản của nó.
• Có thể kết hợp bằng mã nguồn: Thiết kế câu hỏi nguyên tử giúp logic nghiệp vụ lắng đọng trong mã nguồn; khi ưu tiên thay đổi chỉ cần sửa hệ số thay vì viết lại prompt, khả năng kiểm soát và bảo trì cao hơn.
• Hiểu ngữ nghĩa phổ quát: Dựa trên kiến trúc Transformer, có khả năng hiểu ngữ nghĩa phổ quát; khi quy tắc và ứng viên thay đổi thường xuyên, không cần huấn luyện lại như bộ phân loại truyền thống.

So sánh Jev với các đối thủ cùng loại

Kịch bản ứng dụng của Jev

• Định tuyến Agent và điều phối công cụ: Quyết định tần suất cao xem ý định hiện tại nên gọi tìm kiếm, cơ sở dữ liệu hay thực thi mã, chỉ chọn từ danh sách API hợp lệ định sẵn, loại bỏ tên công cụ ảo giác đồng thời dùng phản hồi cấp mili giây đỡ các vòng lặp nhanh của Agent.
• Phân luồng ticket chăm sóc khách hàng: Một lần gọi quyết định song song team phụ trách, mức độ khẩn cấp và tính đầy đủ thông tin của ticket, giúp hàng triệu email/ticket mỗi ngày hoàn thành phân loại tự động với chi phí gần bằng không.
• Quyết định game và mô phỏng: Nhận trạng thái có cấu trúc do động cơ game xuất ra, chọn đòn tần suất cao với tốc độ khoảng 10 lần mỗi giây trong tập hành động định sẵn, điều khiển người chơi AI cho các game như DOOM, Mario.
• Tự động hóa trình duyệt: Sau khi đánh số các phần tử trang, Jev quyết định từng bước nên bấm nút nào, điền ô nhập nào, chỉ khi cần sinh văn bản mới chuyển gọi mô hình sinh nội dung, giúp các tác vụ như tra vé máy bay với mười mấy bước thao tác hoàn thành chỉ trong vài giây.
• Nén ngữ cảnh và định tuyến mô hình: Trong ngữ cảnh dài hàng triệu token, quyết định thông tin nào then chốt, thông tin nào có thể bỏ đi, đồng thời dự đoán độ phức tạp của tác vụ theo thời gian thực để quyết định giao cho mô hình nhẹ hay mô hình flagship, đạt phân bổ tối ưu giữa chi phí và hiệu quả.

Câu hỏi thường gặp về Jev

H1: Jev là gì?

Đ1: Jev là mô hình quyết định có cấu trúc do TypeSafe AI phát triển, dựa trên Transformer nhưng không sinh văn bản, mà trả về ba loại quyết định có kiểu — Choice (Lựa chọn), Score (Điểm số), Noul (Phán đoán đúng/sai) — trong phạm vi lựa chọn định sẵn, kèm theo độ tin cậy đã hiệu chỉnh, được thiết kế riêng cho các kịch bản quyết định tần suất cao của Agent.

H2: Jev khác gì so với mô hình ngôn ngữ lớn?

Đ2: Jev không phải là mô hình ngôn ngữ lớn, không sinh ra câu văn, chỉ trả về quyết định có cấu trúc trong phạm vi lựa chọn và kiểu do người dùng định sẵn, nhờ đó không có ảo giác định dạng; độ trễ phản hồi khoảng 70–500 mili giây, nhanh hơn 20–200 lần so với các mô hình ngôn ngữ lớn cùng loại, phù hợp cho các quyết định tần suất cao như định tuyến công cụ, phân luồng ticket, còn sinh văn bản vẫn cần giao cho mô hình sinh nội dung.

H3: Tốc độ phản hồi và chi phí của Jev như thế nào?

Đ3: Độ trễ đầu-cuối khoảng 70–500 mili giây, hỗ trợ khoảng 10 vòng lặp quyết định mỗi giây; cách tính phí là đầu vào 0,042 đô la/triệu Token, đầu ra miễn phí, phù hợp cho các lần gọi dạng quyết định số lượng lớn, tần suất cao.

H4: Jev phù hợp với những kịch bản nào?

Đ4: Phù hợp cho các kịch bản cần quyết định loại "chọn cái nào" tần suất cao, độ trễ thấp, như định tuyến công cụ của Agent, phân luồng ticket chăm sóc khách hàng, chọn đòn AI trong game, thao tác tự động hóa trình duyệt, cùng với sàng lọc thông tin và định tuyến mô hình trong ngữ cảnh dài.