Qué es Vivix: plataforma de creación con IA multimodal en tiempo real y full-duplex

Qué es Vivix

Vivix es una plataforma de creación con IA centrada en modelos multimodales en tiempo real e interactivos. Sus productos principales incluyen: Vivix-A1, el primer modelo full-duplex en tiempo real del mundo, capaz de generar personajes de IA interactivos con movimiento corporal completo que pueden oír, hablar y actuar; y Vivix-W1, un modelo multimodal nativo en streaming, un motor de narrativa interactiva que permite cambiar el rumbo de la historia en tiempo real mediante voz, texto y táctil, junto con el runtime de vídeo en tiempo real Vivix IVI. Vivix desarrolla internamente la destilación MJD, la cuantización NVFP4 y el motor de inferencia VMI, logrando que un modelo de casi 30B de parámetros se ejecute en tiempo real en GPU de consumo, con una latencia de interacción inferior a 1 segundo. Vivix-A1 ya cuenta con API abierta.

Funciones principales de Vivix

• Generación de personajes corporales completos: Vivix-A1 genera en tiempo real humanos digitales de cuerpo entero que caminan, giran, recogen objetos y bailan.
• Interacción full-duplex en tiempo real: el usuario puede interrumpir con la voz en cualquier momento; los movimientos, expresiones y respuestas del personaje cambian al instante, sin necesidad de regenerar.
• Salida sincronizada de audio y vídeo: voz, expresiones, gestos y sonido ambiental se modelan de forma nativa y unificada, sin costuras ni uniones.
• Generación de narrativa interactiva: Vivix-W1 convierte una frase en una historia de audio y vídeo en evolución continua, y el usuario puede cambiar el rumbo de la trama en tiempo real.
• Entrada multimodal: admite voz, texto, imágenes, clic y táctil como formas de participar en la interacción.
• Aplicación en livestreaming de comercio electrónico: los anfitriones digitales pueden caminar libremente y mostrar productos, y el equipo operativo puede ajustar la dirección del directo por voz en tiempo real.
• Latencia ultrabaja: latencia del primer fotograma inferior a 0,6 s, respuesta a interrupciones de 300–900 ms y latencia de extremo a extremo inferior a 1,7 s.
• Ejecución en tiempo real en hardware de consumo: un modelo de casi 30B de parámetros activos, mediante destilación MJD y cuantización NVFP4, realiza inferencia en tiempo real en una sola GPU de consumo, con un coste inferior a 1 dólar por hora.

Cómo usar Vivix

• Registro y obtención del API Key: accede a la plataforma abierta de Vivix API platform.vivix.ai, regístrate, crea un API Key en el panel de desarrollador; todas las peticiones usan https://api.vivix.ai/ como base URL y autenticación Bearer.
• Selección del modelo: elige la serie A (interacción Avatar en tiempo real o vídeo Avatar dirigido por guion) o la serie W, por ejemplo vivix-a1-stream, vivix-w1-stream, etc.
• Creación de la sesión: mediante la interfaz REST POST /v1/realtime-avatar/sessions, configura modo, imagen del personaje, timbre de voz, instrucciones de personalidad, reconocimiento de voz (por ejemplo, server_vad) y otros parámetros.
• Establecimiento de la conexión en tiempo real: con el session_id devuelto, controla la sesión a través del canal WebSocket de control (wss://api.vivix.ai/v1/realtime-avatar/control); la salida de audio y vídeo se transmite vía RTC (TRTC).
• Impulso de la interacción: escribe la voz o el texto del usuario en el contexto de la conversación; el Avatar genera respuestas en tiempo real y las entrega en streaming por voz, vídeo y subtítulos palabra por palabra, con soporte de interrupción en curso.
• Intervención en tiempo real: a través de la interfaz Streaming Control puedes cambiar imagen/personaje, enviar comandos de acción o audio de guion directo durante la generación, sin necesidad de reiniciar.
• Modo mundo W1: la trama se impulsa mediante eventos abiertos (Event); los eventos pueden cancelarse antes de activarse, y la sesión admite hold/pause y resume para insertar nuevos eventos y cambiar el rumbo de la historia en cualquier momento.

Ventajas centrales de Vivix

• Interacción full-duplex real: supera el modo semidúplex de petición-respuesta; el modelo, mientras genera audio y vídeo de forma continua, puede captar nuevas entradas en cualquier momento y cambiar el contenido al instante.
• Capacidad de acción corporal completa: A1 es el primer modelo en tiempo real que admite generación de movimiento corporal completo; el personaje camina, gira y recoge objetos, en lugar de limitarse a un encuadre fijo sincronizando labios.
• Arquitectura multimodal nativa: voz, texto e imágenes se modelan en un espacio de señal unificado, evitando la cascada ASR+LLM+TTS; la percepción dirige directamente el comportamiento, y audio, vídeo y movimiento se sincronizan de forma natural.
• Latencia ultrabaja: primer fotograma < 0,6 s, respuesta a interrupciones 300–900 ms, extremo a extremo < 1,7 s, latencia de interacción inferior a 1 s.
• Grandes parámetros + ejecución en tiempo real en consumo: casi 30B de parámetros activos con una tasa de compresión de alta calidad 8x8x4, mediante destilación MJD y cuantización NVFP4 en entrenamiento, logran más de 10.000 video tokens/s en una sola GPU de consumo, con un coste de inferencia inferior a 1 dólar por hora.
• Arquitectura de streaming nativa interrumpible: diseño de generación causal + códec VMI desacoplado; las nuevas instrucciones se añaden directamente en la cadena de decodificación, sin necesidad de reiniciar la generación actual.

Comparativa de Vivix con competidores similares

Escenarios de aplicación de Vivix

• Livestreaming de comercio electrónico: anfitriones digitales de cuerpo entero aparecen caminando, probándose y recogiendo productos; el equipo operativo ajusta el discurso y la selección de productos por voz en tiempo real, sin interrumpir el directo.
• Compañero virtual / redes sociales IA: aplicaciones tipo novio/a de IA, con movimientos, expresiones y voz sincronizados de forma natural; el usuario puede interrumpir la conversación en cualquier momento y el personaje reacciona al instante.
• Cine/televisión interactivo y cortos interactivos: introduce una frase para generar una historia en evolución en tiempo real; el espectador participa en las decisiones de la trama por voz o clic, abriendo el modo "cada uno es director".
• NPC de juegos y mundo abierto: dota a los personajes de juegos de percepción y acción autónomas; el jugador interactúa naturalmente con los NPC por voz, impulsando la narrativa de mundo abierto.
• Atención al cliente y guía de compras virtual: empleados digitales de cuerpo entero en línea 7×24, capaces de demostrar productos, responder dudas y reaccionar a las necesidades de los clientes en tiempo real; se integran en sitios web/App/pantallas grandes físicas.

Preguntas frecuentes sobre Vivix

P1: ¿Cuáles son los modelos centrales de Vivix? R1: Vivix-A1 es el primer modelo full-duplex en tiempo real del mundo, capaz de generar personajes de IA interactivos con movimiento corporal completo que pueden oír, hablar y actuar; Vivix-W1 es un modelo multimodal nativo en streaming, que ofrece un motor de narrativa interactiva capaz de cambiar el rumbo de la historia en tiempo real mediante voz, texto y táctil, junto con el runtime de vídeo en tiempo real Vivix IVI.

P2: ¿Cuál es la latencia de interacción de Vivix? R2: La latencia del primer fotograma es inferior a 0,6 s, la respuesta a interrupciones de 300–900 ms, la latencia de extremo a extremo inferior a 1,7 s, y la latencia de interacción global es inferior a 1 s.

P3: ¿Cómo me integro con Vivix? R3: Accede a la plataforma abierta de Vivix API platform.vivix.ai, regístrate y crea un API Key; crea la sesión de Avatar en tiempo real mediante la interfaz REST y luego impulsa la interacción de audio y vídeo a través del canal de control WebSocket y el flujo RTC.

P4: ¿Pueden las tarjetas gráficas de consumo ejecutarlo en tiempo real? R4: Sí. Un modelo de casi 30B de parámetros activos, mediante destilación MJD y cuantización NVFP4, realiza inferencia en tiempo real en una sola GPU de consumo, con un coste de inferencia inferior a 1 dólar por hora.