Qu'est-ce que Vivix : une plateforme de création IA multimodale full-duplex en temps réel

Qu'est-ce que Vivix

Vivix est une plateforme de création IA axée sur les modèles multimodaux interactifs en temps réel. Ses produits phares incluent : Vivix-A1, le premier modèle full-duplex en temps réel au monde, capable de générer des personnages IA interactifs à mouvement corporel complet qui peuvent écouter, parler et agir ; Vivix-W1, un modèle multimodal natif en streaming, qui sert de moteur de narration interactive permettant de modifier l'histoire en temps réel par la voix, le texte et le toucher, ainsi que le runtime vidéo en temps réel Vivix IVI. La distillation MJD, la quantification NVFP4 et le moteur d'inférence VMI propriétaires de Vivix permettent à des modèles de près de 30B de paramètres de fonctionner en temps réel sur des GPU grand public avec une latence d'interaction inférieure à 1 seconde. L'API Vivix-A1 est désormais disponible.

Les principales fonctionnalités de Vivix

• Génération de personnages corporels complets : Vivix-A1 peut générer en temps réel des humains numériques IA à corps entier capables de marcher, se tourner, saisir des objets et danser.
• Interaction full-duplex en temps réel : Les utilisateurs peuvent interrompre à tout moment par la voix ; le mouvement, l'expression et la réponse du personnage changent instantanément, sans régénération.
• Sortie audio-visuelle synchronisée : La voix, les expressions, les gestes et les sons ambiants sont nativement unifiés dans un seul modèle, sans couture.
• Génération de narration interactive : Vivix-W1 peut générer à partir d'une seule phrase une histoire audio-vidéo en évolution continue, et l'utilisateur peut modifier le cours de l'histoire en temps réel.
• Entrée multimodale : Prend en charge la voix, le texte, les images, les clics, le toucher et d'autres modes d'interaction.
• Applications de live-commerce : Les hôtes numériques peuvent se déplacer librement et présenter des produits, tandis que les opérateurs ajustent la direction du direct par la voix en temps réel.
• Latence ultra-faible : Latence de première image inférieure à 0,6 s, réponse d'interruption 300–900 millisecondes, latence bout-en-bout inférieure à 1,7 s.
• Exécution en temps réel sur matériel grand public : Des modèles de près de 30B paramètres activés, via la distillation MJD et la quantification NVFP4, peuvent fonctionner en inférence temps réel sur un seul GPU grand public à un coût inférieur à 1 $ l'heure.

Comment utiliser Vivix

• S'inscrire et obtenir une clé API : Rendez-vous sur la plateforme API Vivix à l'adresse platform.vivix.ai, créez un compte et une clé API dans la console développeur. Toutes les requêtes utilisent https://api.vivix.ai/ comme URL de base avec une authentification Bearer.
• Choisir un modèle : Selon vos besoins, choisissez la série A (interaction Avatar en temps réel ou vidéo Avatar pilotée par script) ou la série W, par exemple vivix-a1-stream, vivix-w1-stream.
• Créer une session : Via l'interface REST POST /v1/realtime-avatar/sessions, configurez les paramètres tels que le mode, l'image du personnage, la voix, les instructions de persona et la reconnaissance vocale (ex. server_vad).
• Établir une connexion temps réel : Après avoir obtenu le session_id renvoyé, pilotez la session via le canal de contrôle WebSocket (wss://api.vivix.ai/v1/realtime-avatar/control) ; la sortie audio-visuelle est diffusée via RTC (TRTC).
• Piloter l'interaction : Écrivez la voix ou le texte de l'utilisateur dans le contexte de conversation ; l'Avatar génère des réponses en temps réel et les diffuse en streaming sous forme de voix, vidéo et sous-titres mot à mot, avec support d'interruption en cours.
• Intervention en temps réel : Via l'interface Streaming Control, vous pouvez changer d'image/personnage, envoyer des commandes d'action ou scripter directement l'audio pendant la génération, sans interruption.
• Gameplay monde W1 : L'histoire est pilotée par des Événements ouverts ; un événement peut être annulé avant de prendre effet. Les sessions prennent en charge hold/pause et resume, permettant d'insérer à tout moment de nouveaux événements pour modifier le cours de l'histoire.

Les avantages clés de Vivix

• Vraie interaction full-duplex : Brisant le modèle "semi-duplex" requête-réponse, le modèle peut capter une nouvelle entrée à tout moment et modifier instantanément le contenu tout en générant continuellement audio et vidéo.
• Capacité d'action corporelle complète : A1 est le premier modèle temps réel à prendre en charge la génération complète de mouvements corporels — les personnages peuvent marcher, se tourner et saisir des objets, au lieu de simplement synchroniser les lèvres en plan fixe.
• Architecture multimodale native : La voix, le texte et les images sont modélisés dans un espace de signaux unifié, contournant la cascade ASR+LLM+TTS, si bien que la perception pilote directement le comportement, avec une synchronisation naturelle audio-visuelle et gestuelle.
• Latence ultra-faible : Latence de première image < 0,6 s, réponse d'interruption 300–900 ms, bout-en-bout < 1,7 s, latence d'interaction globale inférieure à 1 s.
• Grands paramètres + temps réel grand public : Près de 30B paramètres activés avec un taux de compression 8x8x4, via la distillation MJD et la quantification NVFP4 en période d'entraînement, atteignent plus de 10 000 jetons vidéo/s sur un seul GPU grand public, avec un coût d'inférence inférieur à 1 $ l'heure.
• Architecture de streaming nativement interruptible : Génération causale + découplage du codec VMI permet d'ajouter de nouvelles commandes directement dans la chaîne de décodage, sans interrompre et relancer la génération en cours.

Comparaison de Vivix avec ses concurrents

Cas d'usage de Vivix

• Live-commerce : Des hôtes numériques corporels apparaissent et se déplacent, essaient et saisissent des produits, tandis que les opérateurs ajustent les scripts et la sélection par la voix en temps réel sans interrompre le direct.
• Compagnons virtuels / réseaux sociaux IA : Applications de petit(e) ami(e) IA dont les mouvements, expressions et voix sont naturellement synchronisés ; l'utilisateur peut interrompre la conversation à tout moment et le personnage réagit instantanément.
• Film/TV interactif / courts interactifs : Générer à partir d'une phrase une histoire en évolution en temps réel ; les spectateurs participent aux décisions scénaristiques par la voix et les clics, ouvrant le mode "chacun est réalisateur".
• PNJ de jeux et mondes ouverts : Doter les personnages de jeu d'une perception et action autonomes ; les joueurs interagissent naturellement avec les PNJ par la voix, faisant avancer le récit en monde ouvert.
• Service client intelligent et conseillers virtuels : Des employés numériques corporels en ligne 7×24 h, capables de démontrer des produits, répondre et réagir aux besoins clients en temps réel, intégrables aux sites web / Apps / écrans géants physiques.

Questions fréquentes sur Vivix

Q1 : Quels sont les modèles phares de Vivix ? A1 : Vivix-A1 est le premier modèle full-duplex en temps réel au monde, capable de générer des personnages IA interactifs à mouvement corporel complet qui peuvent écouter, parler et agir ; Vivix-W1 est un modèle multimodal natif en streaming qui fournit un moteur de narration interactive et le runtime vidéo en temps réel Vivix IVI, permettant de modifier l'histoire en temps réel par la voix, le texte et le toucher.

Q2 : Quelle est la latence d'interaction de Vivix ? A2 : Latence de première image inférieure à 0,6 s, réponse d'interruption 300–900 millisecondes, latence bout-en-bout inférieure à 1,7 s, avec une latence d'interaction globale inférieure à 1 s.

Q3 : Comment intégrer Vivix ? A3 : Rendez-vous sur la plateforme API Vivix à l'adresse platform.vivix.ai pour vous inscrire et créer une clé API, créez une session Avatar en temps réel via l'interface REST, puis pilotez l'interaction audio-visuelle via le canal de contrôle WebSocket et le flux RTC.

Q4 : Une carte graphique grand public peut-elle fonctionner en temps réel ? A4 : Oui. Des modèles de près de 30B paramètres activés, via la distillation MJD et la quantification NVFP4, peuvent fonctionner en inférence temps réel sur une seule carte grand public, avec un coût d'inférence inférieur à 1 $ l'heure.