Vivix è una piattaforma di creazione IA focalizzata su modelli multimodali interattivi in tempo reale, che offre Vivix-A1 (full-duplex tempo reale, generazione di personaggi IA a corpo intero) e Vivix-W1 (motore di narrazione interattiva). Grazie alla distillazione MJD e alla quantizzazione NVFP4, modelli di quasi 30B parametri eseguono inferenza in tempo reale su GPU consumer con latenza end-to-end inferiore a 1,7 s, e l'API è disponibile.
Cos'è Vivix
Vivix è una piattaforma di creazione IA focalizzata su modelli multimodali interattivi in tempo reale. I prodotti principali includono: Vivix-A1, il primo modello full-duplex in tempo reale al mondo, in grado di generare personaggi IA interattivi con movimento corporeo completo che possono ascoltare, parlare e agire; Vivix-W1, un modello multimodale nativo in streaming, che funge da motore di narrazione interattiva capace di modificare la trama in tempo reale tramite voce, testo e tocco, insieme al runtime video in tempo reale Vivix IVI. La distillazione MJD, la quantizzazione NVFP4 e il motore di inferenza VMI proprietari di Vivix consentono a modelli di quasi 30B parametri di funzionare in tempo reale su GPU consumer con una latenza di interazione inferiore a 1 secondo. L'API di Vivix-A1 è ora disponibile.
Le principali funzionalità di Vivix
- Generazione di personaggi a corpo intero: Vivix-A1 può generare in tempo reale umani digitali IA a corpo intero capaci di camminare, voltarsi, prendere oggetti e ballare.
- Interazione full-duplex in tempo reale: Gli utenti possono interrompere in qualsiasi momento con la voce; il movimento, l'espressione e la risposta del personaggio cambiano istantaneamente, senza rigenerazione.
- Uscita audio-visiva sincronizzata: Voce, espressioni, gesti e suoni ambientali sono nativamente unificati in un unico modello, senza cuciture.
- Generazione di narrazione interattiva: Vivix-W1 può generare da una sola frase una storia audio-video in evoluzione, e l'utente può modificarne la trama in tempo reale.
- Input multimodale: Supporta voce, testo, immagini, clic, tocco e altri modi di interazione.
- Applicazioni di live commerce: Gli host digitali possono muoversi liberamente e mostrare prodotti, mentre gli operatori regolano la direzione della diretta con la voce in tempo reale.
- Latenza ultra-bassa: Latenza del primo fotogramma inferiore a 0,6 s, risposta di interruzione 300–900 millisecondi, latenza end-to-end inferiore a 1,7 s.
- Esecuzione in tempo reale su hardware consumer: Modelli con quasi 30B parametri attivati, tramite distillazione MJD e quantizzazione NVFP4, possono eseguire inferenza in tempo reale su una singola GPU consumer a un costo inferiore a 1 $ l'ora.
Come usare Vivix
- Registrarsi e ottenere una API Key: Visita la piattaforma API Vivix su platform.vivix.ai, registra un account e crea una API Key nella console sviluppatore. Tutte le richieste usano
https://api.vivix.ai/come base URL con autenticazione Bearer. - Scegliere un modello: In base alle esigenze scegli la serie A (interazione Avatar in tempo reale o video Avatar guidato da script) o la serie W, ad esempio
vivix-a1-stream,vivix-w1-stream. - Creare una sessione: Tramite l'interfaccia REST POST
/v1/realtime-avatar/sessions, configura parametri come modalità, immagine del personaggio, timbro vocale, istruzioni di persona e riconoscimento vocale (es. server_vad). - Stabilire una connessione in tempo reale: Dopo aver ottenuto il
session_idrestituito, controlla la sessione tramite il canale di controllo WebSocket (wss://api.vivix.ai/v1/realtime-avatar/control); l'uscita audio-visiva è trasmessa via RTC (TRTC). - Guidare l'interazione: Scrivi la voce o il testo dell'utente nel contesto della conversazione; l'Avatar genera risposte in tempo reale e le trasmette in streaming come voce, video e sottotitoli parola per parola, con supporto all'interruzione a metà flusso.
- Intervento in tempo reale: Tramite l'interfaccia Streaming Control puoi cambiare immagini/personaggi, inviare comandi di azione o scriptare direttamente l'audio durante la generazione, senza interruzione.
- Gameplay del mondo W1: La trama è guidata da Eventi aperti; un evento può essere annullato prima di avere effetto. Le sessioni supportano hold/pause e resume, permettendo di inserire in qualsiasi momento nuovi eventi per cambiare la storia.
I vantaggi chiave di Vivix
- Vera interazione full-duplex: Supera il modello "semi-duplex" richiesta-risposta; il modello può cogliere nuovi input in qualsiasi momento e modificare istantaneamente il contenuto mentre genera continuamente audio e video.
- Capacità di azione a corpo intero: A1 è il primo modello in tempo reale a supportare la generazione completa di movimento corporeo—i personaggi possono camminare, voltarsi e prendere oggetti, invece di limitarsi a sincronizzare le labbra in inquadratura fissa.
- Architettura multimodale nativa: Voce, testo e immagini sono modellati in uno spazio di segnali unificato, bypassando la cascata ASR+LLM+TTS, così la percezione guida direttamente il comportamento con movimento audio-visivo naturalmente sincronizzato.
- Latenza ultra-bassa: Latenza del primo fotogramma < 0,6 s, risposta di interruzione 300–900 ms, end-to-end < 1,7 s, latenza di interazione complessiva inferiore a 1 s.
- Grandi parametri + tempo reale consumer: Quasi 30B parametri attivati con rapporto di compressione 8x8x4, tramite distillazione MJD e quantizzazione NVFP4 in fase di training, raggiungono oltre 10.000 video token/s su una singola GPU consumer, con costo di inferenza inferiore a 1 $ l'ora.
- Architettura di streaming nativamente interrompibile: Generazione causale + decoupling del codec VMI consentono di aggiungere nuovi comandi direttamente nella catena di decodifica, senza interrompere e riavviare la generazione in corso.
Confronto tra Vivix e i concorrenti
| Dimensione di confronto | Vivix | HeyGen LiveAvatar |
|---|---|---|
| Approccio tecnico | Modello generativo multimodale nativo (quasi 30B parametri attivati); la percezione guida direttamente la generazione, non una cascata ASR+LLM+TTS | Pipeline assemblata: può collegare il proprio LLM/TTS (modalità Lite) o usare la suite completa (modalità Full); alla base c'è la guida di Avatar pre-renderizzato |
| Espressività del personaggio | Generazione di movimento corporeo: camminare, voltarsi, prendere oggetti, ballare, azione autonoma in mondo aperto | Principalmente stile presentatore a mezzo busto; Avatar IV ha motion capture a corpo intero e micro-espressioni, ma limitato a scenari di studio fissi |
| Capacità narrativa | W1 supporta film/TV interattivo in tempo reale: genera una storia da una frase, l'utente cambia la trama in qualsiasi momento | Nessuna capacità di questo tipo; solo dialogo a personaggio singolo |
| Latenza primo fotogramma | TTFF < 0,6 s (ufficiale) | Primo fotogramma mediano < 300 ms |
| Capacità di interruzione | Interruzione nativa 300–900 ms; movimento e risposta cambiano istantaneamente | Supporta la gestione dell'interruzione, ma si manifesta come "passa ad animazione di ascolto + annulla la voce corrente" |
| Costo in tempo reale | Inferiore a 1 $/ora (test ufficiale) | Circa 0,20 $/minuto (circa 12 $/ora, livello Full); a volume alto può scendere a 0,01 $/minuto |
| Supporto linguistico | Numero esatto di lingue non divulgato | 175+ lingue con sincronizzazione labiale; cloning digitale maturo |
| Modalità di integrazione | API + controllo WebSocket + flusso RTC (A1 live, beta su invito) | Solo API, richiede di costruire il proprio stack di dialogo; i crediti scadono mensilmente |
Casi d'uso di Vivix
- Live commerce: Host digitali a corpo intero compaiono e si muovono, provano e prendono prodotti, mentre gli operatori regolano script e selezione con la voce in tempo reale senza interrompere la diretta.
- Compagni virtuali / social IA: App di fidanzato/a IA in cui movimento, espressioni e voce sono naturalmente sincronizzati; l'utente può interrompere le conversazioni in qualsiasi momento e il personaggio reagisce istantaneamente.
- Film/TV interattivo / corti interattivi: Genera da una frase una storia in evoluzione in tempo reale; gli spettatori partecipano alle decisioni della trama con voce e clic, aprendo la modalità "ognuno è un regista".
- NPC di gioco e mondi aperti: Dotare i personaggi di gioco di percezione e azione autonome; i giocatori interagiscono naturalmente con gli NPC tramite voce, facendo avanzare la narrazione open-world.
- Assistenza clienti intelligente e consulenti virtuali: Dipendenti digitali a corpo intero online 7×24 h, capaci di dimostrare prodotti, rispondere e reagire ai bisogni dei clienti in tempo reale, integrabili in siti web / App / schermi fisici di grandi dimensioni.
Domande frequenti su Vivix
Q1: Quali sono i modelli principali di Vivix? A1: Vivix-A1 è il primo modello full-duplex in tempo reale al mondo, capace di generare personaggi IA interattivi con movimento corporeo completo che possono ascoltare, parlare e agire; Vivix-W1 è un modello multimodale nativo in streaming che fornisce un motore di narrazione interattiva e il runtime video in tempo reale Vivix IVI, permettendo di modificare la trama in tempo reale tramite voce, testo e tocco.
Q2: Qual è la latenza di interazione di Vivix? A2: Latenza del primo fotogramma inferiore a 0,6 s, risposta di interruzione 300–900 millisecondi, latenza end-to-end inferiore a 1,7 s, con latenza di interazione complessiva inferiore a 1 s.
Q3: Come si integra Vivix? A3: Visita la piattaforma API Vivix su platform.vivix.ai per registrarti e creare una API Key, crea una sessione Avatar in tempo reale tramite l'interfaccia REST, poi guida l'interazione audio-visiva tramite il canale di controllo WebSocket e il flusso RTC.
Q4: Una GPU consumer può funzionare in tempo reale? A4: Sì. Modelli con quasi 30B parametri attivati, tramite distillazione MJD e quantizzazione NVFP4, possono eseguire inferenza in tempo reale su una singola GPU consumer, con costo di inferenza inferiore a 1 $ l'ora.
Domande frequenti
Quali sono i modelli principali di Vivix?
Vivix-A1 è il primo modello full-duplex in tempo reale al mondo, capace di generare personaggi IA interattivi con movimento corporeo completo che possono ascoltare, parlare e agire; Vivix-W1 è un modello multimodale nativo in streaming che fornisce un motore di narrazione interattiva e il runtime video in tempo reale Vivix IVI, permettendo di modificare la trama in tempo reale tramite voce, testo e tocco.
Qual è la latenza di interazione di Vivix?
Latenza del primo fotogramma inferiore a 0,6 s, risposta di interruzione 300–900 millisecondi, latenza end-to-end inferiore a 1,7 s, con latenza di interazione complessiva inferiore a 1 s.
Come si integra Vivix?
Visita la piattaforma API Vivix su platform.vivix.ai per registrarti e creare una API Key, crea una sessione Avatar in tempo reale tramite l'interfaccia REST, poi guida l'interazione audio-visiva tramite il canale di controllo WebSocket e il flusso RTC.
Una GPU consumer può funzionare in tempo reale?
Sì. Modelli con quasi 30B parametri attivati, tramite distillazione MJD e quantizzazione NVFP4, possono eseguire inferenza in tempo reale su una singola GPU consumer, con costo di inferenza inferiore a 1 $ l'ora.
