Vivix este o platformă de creație AI specializată pe modele multimodale interactive în timp real, oferind Vivix-A1 (full-duplex, generează personaje AI cu corp integral) și Vivix-W1 (motor de narațiune interactivă). Prin distilarea MJD și cuantizarea NVFP4, un model de aproape 30B parametri rulează în timp real pe GPU-uri de consum, cu latență end-to-end sub 1,7 s; API-ul este deja deschis.
Ce este Vivix
Vivix este o platformă de creație AI specializată pe modele multimodale interactive în timp real. Produsele principale includ: Vivix-A1, primul model full-duplex în timp real din lume, care generează personaje AI interactive cu mișcare integrală a corpului, capabile să audă, să vorbească și să acționeze; Vivix-W1, un model multimodal nativ de tip streaming, un motor de narațiune interactivă care poate schimba direcția poveștii în timp real prin voce, text și atingere, împreună cu runtime-ul video în timp real Vivix IVI. Vivix a dezvoltat propriile distilare MJD, cuantizare NVFP4 și motor de inferență VMI, permițând rularea în timp real a unui model de aproape 30B parametri pe GPU-uri de consum, cu o latență a interacțiunii sub 1 secundă. Vivix-A1 are deja API deschis.
Funcțiile principale ale Vivix
- Generarea personajelor cu corp integral: Vivix-A1 generează în timp real oameni digitali AI cu corp integral, care pot merge, se întoarce, lua obiecte și dansa.
- Interacțiune full-duplex în timp real: utilizatorul poate întrerupe oricând prin voce; mișcarea, expresia feței și răspunsul personajului se schimbă instantaneu, fără a întrerupe și regenera.
- Ieșire audio-video sincronizată: vocea, expresia feței, gesturile și sunetul ambiental sunt modelate nativ împreună, fără cusaturi.
- Generarea narațiunii interactive: Vivix-W1, la o singură propoziție, generează o poveste audio-video în evoluție continuă, iar utilizatorul poate schimba direcția poveștii în timp real.
- Intrare multimodală: acceptă voce, text, imagini, clic și atingere ca moduri de participare.
- Aplicare în live commerce: prezentatorul digital poate merge liber și prezenta produse, iar echipa de operare poate ajusta direcția transmisiunii în timp real prin voce.
- Latență ultra-redusă: latența primului cadru sub 0,6 s, răspunsul la întrerupere 300–900 ms, latența end-to-end sub 1,7 s.
- Rulare în timp real pe hardware de consum: un model cu aproape 30B parametri activi, prin distilarea MJD și cuantizarea NVFP4, rulează în timp real pe un singur GPU de consum, la un cost sub 1 USD pe oră.
Cum să folosești Vivix
- Înregistrează-te și obține API Key: accesează platforma Vivix API la platform.vivix.ai, creează un cont și generează un API Key în panoul dezvoltatorului. Toate cererile folosesc
https://api.vivix.ai/ca base URL și transportă autentificare Bearer. - Alege modelul: în funcție de nevoi, alege seria A (interacțiune Avatar în timp real sau video Avatar condus de script) sau seria W, de exemplu
vivix-a1-stream,vivix-w1-stream. - Creează o sesiune: prin interfața REST, trimite POST la
/v1/realtime-avatar/sessions, configurând modul, imaginea personajului, vocea, instrucțiunile de personalitate, recunoașterea vocală (de exemplu server_vad) și alți parametri. - Stabilește conexiunea în timp real: după ce primești
session_id, controlează sesiunea prin canalul de control WebSocket (wss://api.vivix.ai/v1/realtime-avatar/control); ieșirea audio-video este transmisă prin flux RTC (TRTC). - Condu interacțiunea: scrie vocea sau textul utilizatorului în contextul dialogului; Avatarul generează un răspuns în timp real și îl emite în flux prin voce, video și subtitrări cuvânt cu cuvânt, cu suport pentru întrerupere pe parcurs.
- Intervenție în timp real: prin interfața Streaming Control poți comuta imaginea/personajul, trimite comenzi de mișcare sau furniza direct audio dintr-un script în timpul generării, fără a o lua de la capăt.
- Modul lume W1: povestea este condusă de evenimente (Event) deschise, care pot fi anulate înainte de intrarea în vigoare; sesiunea suportă hold/pause și resume, iar un eveniment nou poate fi inserat oricând pentru a schimba direcția poveștii.
Avantajele principale ale Vivix
- Interacțiune full-duplex autentică: depășește modelul semi-duplex cerere-răspuns; modelul, în timp ce generează continuu audio-video, poate prelua oricând o nouă intrare și schimba conținutul instantaneu.
- Capacitatea de mișcare a întregului corp: A1 este primul model în timp real care suportă generarea completă a mișcărilor corpului; personajul poate merge, se întoarce și lua obiecte, în loc să doar miște buzele fix în cadru.
- Arhitectură multimodală nativă: vocea, textul și imaginile sunt modelate în același spațiu de semnal, ocolind cascada ASR+LLM+TTS, percepția conduce direct comportamentul, iar imaginea, sunetul și mișcarea se sincronizează natural.
- Latență ultra-redusă: latența primului cadru < 0,6 s, răspunsul la întrerupere 300–900 ms, end-to-end < 1,7 s, latența interacțiunii sub 1 s.
- Parametri mari + rulare în timp real pe consum: aproape 30B parametri activi, cu rată de compresie de înaltă calitate 8x8x4, prin distilarea MJD și cuantizarea NVFP4 în timpul antrenării, rulează pe un singur GPU de consum la peste 10.000 video tokens/s, costul de inferență fiind sub 1 USD pe oră.
- Arhitectură de streaming nativă, întreruptibilă: proiectare care combină generarea cauzală și decuplarea codec-ului VMI; noile comenzi sunt adăugate direct în lanțul de decodare, fără a întrerupe generarea curentă.
Comparația concurenților Vivix
| Dimensiune de comparație | Vivix | HeyGen LiveAvatar |
|---|---|---|
| Abordare tehnică | Model generativ multimodal nativ (aproape 30B parametri activi); percepția conduce direct generarea, nu ASR+LLM+TTS în serie | Pipeline de asamblare: poate folosi propriul LLM/TTS (modul Lite) sau suita completă (modul Full); la bază este un Avatar pre-renderizat |
| Expresivitatea personajului | Generare a mișcărilor întregului corp: mers, întoarcere, luarea obiectelor, dans; acțiune autonomă în lume deschisă | Predominant prezentator de partea superioară; Avatar IV are captură de mișcare integrală și micro-expresii, dar limitată la o scenă de studio fixă |
| Capacitate narativă | W1 suportă film interactiv în timp real: generează o poveste dintr-o propoziție, utilizatorul schimbă direcția poveștii oricând | Fără această capacitate, doar dialog cu un singur personaj |
| Latența primului cadru | TTFF < 0,6 s (conform oficial) | mediana primului cadru < 300 ms |
| Capacitate de întrerupere | Întrerupere nativă 300–900 ms; mișcarea și răspunsul se schimbă instantaneu | suportă gestionarea întreruperii, dar se manifestă ca „comutare la animația de ascultare + anularea vocii curente” |
| Cost în timp real | sub 1 USD/oră (conform testelor oficiale) | aproximativ 0,20 USD/min (aprox. 12 USD/oră, nivel Full), la volume mari scade la 0,01 USD/min |
| Suport lingvistic | nu s-a dezvăluit numărul exact de limbi | sincronizare labială pentru 175+ limbi, clonarea dublurilor digitale matură |
| Mod de integrare | API + control WebSocket + flux RTC (A1 deja lansat, în beta închisă) | API pur, necesită construirea propriei stive de dialog; Credits expiră lunar |
Scenariile de utilizare Vivix
- Live commerce: prezentatorul digital apare cu corpul integral, merge, încearcă și ia produse; echipa de operare ajustează discursul și selecția produselor în timp real prin voce, fără a întrerupe transmisiunea.
- Partener virtual / social AI: aplicații de tip prietenă/prieten AI; mișcarea, expresia feței și vocea se sincronizează natural, utilizatorul poate întrerupe oricând conversația, iar personajul reacționează instantaneu.
- Film interactiv / serial scurt interactiv: introdu o propoziție pentru a genera o poveste în evoluție în timp real; spectatorii participă la deciziile narrative prin voce și clic, deschizând modul de vizionare „fiecare este regizor”.
- NPC în jocuri și lume deschisă: conferă personajelor de joc capacitatea de percepție și acțiune autonomă; jucătorul interacționează natural cu NPC prin voce, impulsând narațiunea lumii deschise.
- Suport clienți inteligent și vânzător virtual: angajat digital cu corp integral, disponibil 7×24, care poate demonstra produsul, răspunde la întrebări și reacționează la nevoile clienților în timp real; poate fi integrat în site/App/ecran mare fizic.
Întrebările frecvente despre Vivix
Q1: Ce modele principale are Vivix? A1: Vivix-A1 este primul model full-duplex în timp real din lume, care generează personaje AI interactive cu mișcare integrală a corpului, capabile să audă, să vorbească și să acționeze; Vivix-W1 este un model multimodal nativ de tip streaming, care oferă un motor de narațiune interactivă ce poate schimba direcția poveștii în timp real prin voce, text și atingere, împreună cu runtime-ul video în timp real Vivix IVI.
Q2: Care este latența de interacțiune a Vivix? A2: latența primului cadru sub 0,6 s, răspunsul la întrerupere 300–900 ms, latența end-to-end sub 1,7 s, latența totală a interacțiunii sub 1 s.
Q3: Cum se conectează la Vivix? A3: accesează platforma Vivix API platform.vivix.ai, înregistrează-te și creează un API Key, creează o sesiune realtime Avatar prin interfața REST, apoi condu interacțiunea audio-video prin canalul de control WebSocket și fluxul RTC.
Q4: O placă video de consum poate rula în timp real? A4: Da. Un model cu aproape 30B parametri activi, prin distilarea MJD și cuantizarea NVFP4, rulează în timp real pe un singur GPU de consum, costul de inferență fiind sub 1 USD pe oră.
Întrebări frecvente
Ce modele principale are Vivix?
Vivix-A1 este primul model full-duplex în timp real din lume, care generează personaje AI interactive cu mișcare integrală a corpului, capabile să audă, să vorbească și să acționeze; Vivix-W1 este un model multimodal nativ de tip streaming, care oferă un motor de narațiune interactivă ce poate schimba direcția poveștii în timp real prin voce, text și atingere, împreună cu runtime-ul video în timp real Vivix IVI.
Care este latența de interacțiune a Vivix?
latența primului cadru sub 0,6 s, răspunsul la întrerupere 300–900 ms, latența end-to-end sub 1,7 s, latența totală a interacțiunii sub 1 s.
Cum se conectează la Vivix?
accesează platforma Vivix API platform.vivix.ai, înregistrează-te și creează un API Key, creează o sesiune realtime Avatar prin interfața REST, apoi condu interacțiunea audio-video prin canalul de control WebSocket și fluxul RTC.
O placă video de consum poate rula în timp real?
Da. Un model cu aproape 30B parametri activi, prin distilarea MJD și cuantizarea NVFP4, rulează în timp real pe un singur GPU de consum, costul de inferență fiind sub 1 USD pe oră.
