O que é o Vivix: plataforma de criação com IA multimodal em tempo real e full-duplex

O que é o Vivix

O Vivix é uma plataforma de criação com IA focada em modelos multimodais em tempo real e interativos. Seus principais produtos incluem: o Vivix-A1, o primeiro modelo full-duplex em tempo real do mundo, capaz de gerar personagens de IA interativos com movimento corporal completo que conseguem ouvir, falar e agir; e o Vivix-W1, um modelo multimodal nativo em streaming, um motor de narrativa interativa que permite alterar o rumo da história em tempo real por voz, texto e toque, junto com o runtime de vídeo em tempo real Vivix IVI. O Vivix desenvolve internamente a destilação MJD, a quantização NVFP4 e o motor de inferência VMI, fazendo um modelo de quase 30B de parâmetros rodar em tempo real em GPU de consumo, com latência de interação inferior a 1 segundo. O Vivix-A1 já possui API aberta.

Principais funcionalidades do Vivix

• Geração de personagens corporais completos: o Vivix-A1 gera em tempo real humanos digitais de corpo inteiro que caminham, giram, pegam objetos e dançam.
• Interação full-duplex em tempo real: o usuário pode interromper com a voz a qualquer momento; os movimentos, expressões e respostas do personagem mudam na hora, sem necessidade de regenerar.
• Saída sincronizada de áudio e vídeo: voz, expressões, gestos e som ambiente são modelados de forma nativa e unificada, sem costuras nem emendas.
• Geração de narrativa interativa: o Vivix-W1 transforma uma frase em uma história de áudio e vídeo em evolução contínua, e o usuário pode alterar o rumo do enredo em tempo real.
• Entrada multimodal: aceita voz, texto, imagens, clique e toque como formas de participar da interação.
• Aplicação em livestreaming de e-commerce: os apresentadores digitais podem caminhar livremente e exibir produtos, e a equipe de operação pode ajustar a direção da transmissão por voz em tempo real.
• Latência ultra-baixa: latência do primeiro quadro inferior a 0,6 s, resposta a interrupções de 300–900 ms e latência de ponta a ponta inferior a 1,7 s.
• Execução em tempo real em hardware de consumo: um modelo de quase 30B de parâmetros ativos, por meio de destilação MJD e quantização NVFP4, realiza inferência em tempo real em uma única GPU de consumo, com custo inferior a 1 dólar por hora.

Como usar o Vivix

• Registro e obtenção da API Key: acesse a plataforma aberta da Vivix API platform.vivix.ai, registre-se, crie uma API Key no painel do desenvolvedor; todas as requisições usam https://api.vivix.ai/ como base URL e autenticação Bearer.
• Escolha do modelo: selecione a série A (interação Avatar em tempo real ou vídeo Avatar dirigido por roteiro) ou a série W, por exemplo vivix-a1-stream, vivix-w1-stream, etc.
• Criação da sessão: pela interface REST POST /v1/realtime-avatar/sessions, configure modo, imagem do personagem, timbre de voz, instruções de personalidade, reconhecimento de voz (por exemplo, server_vad) e outros parâmetros.
• Estabelecimento da conexão em tempo real: com o session_id retornado, controle a sessão pelo canal WebSocket de controle (wss://api.vivix.ai/v1/realtime-avatar/control); a saída de áudio e vídeo é transmitida via RTC (TRTC).
• Impulso da interação: escreva a voz ou o texto do usuário no contexto da conversa; o Avatar gera respostas em tempo real e as entrega em streaming por voz, vídeo e legendas palavra a palavra, com suporte a interrupção em curso.
• Intervenção em tempo real: pela interface Streaming Control você pode trocar imagem/personagem, enviar comandos de ação ou áudio de roteiro direto durante a geração, sem precisar reiniciar.
• Modo mundo W1: o enredo é impulsionado por eventos abertos (Event); os eventos podem ser cancelados antes de entrarem em vigor, e a sessão aceita hold/pause e resume para inserir novos eventos e mudar o rumo da história a qualquer momento.

Principais vantagens do Vivix

• Interação full-duplex real: supera o modo semidúplex de requisição-resposta; o modelo, enquanto gera áudio e vídeo continuamente, consegue captar novas entradas a qualquer momento e alterar o conteúdo na hora.
• Capacidade de ação corporal completa: o A1 é o primeiro modelo em tempo real que suporta geração de movimento corporal completo; o personagem caminha, gira e pega objetos, em vez de se limitar a um enquadramento fixo sincronizando lábios.
• Arquitetura multimodal nativa: voz, texto e imagens são modelados em um espaço de sinal unificado, contornando a cascata ASR+LLM+TTS; a percepção dirige diretamente o comportamento, e áudio, vídeo e movimento se sincronizam naturalmente.
• Latência ultra-baixa: primeiro quadro < 0,6 s, resposta a interrupções 300–900 ms, ponta a ponta < 1,7 s, latência de interação inferior a 1 s.
• Grandes parâmetros + execução em tempo real em consumo: quase 30B de parâmetros ativos com taxa de compressão de alta qualidade 8x8x4, por meio de destilação MJD e quantização NVFP4 em treinamento, alcançam mais de 10.000 video tokens/s em uma única GPU de consumo, com custo de inferência inferior a 1 dólar por hora.
• Arquitetura de streaming nativa interrompível: design de geração causal + codec VMI desacoplado; as novas instruções são adicionadas diretamente na cadeia de decodificação, sem precisar reiniciar a geração atual.

Comparação do Vivix com concorrentes similares

Cenários de aplicação do Vivix

• Livestreaming de e-commerce: apresentadores digitais de corpo inteiro aparecem caminhando, experimentando e pegando produtos; a equipe de operação ajusta o discurso e a seleção de produtos por voz em tempo real, sem interromper a transmissão.
• Companheiro virtual / redes sociais de IA: aplicativos tipo namorado(a) de IA, com movimentos, expressões e voz sincronizados naturalmente; o usuário pode interromper a conversa a qualquer momento e o personagem reage na hora.
• Cinema/TV interativo e curtas interativos: insira uma frase para gerar uma história em evolução em tempo real; o espectador participa das decisões do enredo por voz ou clique, abrindo o modo "cada um é diretor".
• NPC de jogos e mundo aberto: confere aos personagens de jogos percepção e ação autônomas; o jogador interage naturalmente com os NPCs por voz, impulsionando a narrativa de mundo aberto.
• Atendimento ao cliente e guia de compras virtual: funcionários digitais de corpo inteiro online 7×24, capazes de demonstrar produtos, responder dúvidas e reagir às necessidades dos clientes em tempo real; podem ser integrados em sites/App/telas grandes físicas.

Perguntas frequentes sobre o Vivix

P1: Quais são os modelos centrais do Vivix? R1: O Vivix-A1 é o primeiro modelo full-duplex em tempo real do mundo, capaz de gerar personagens de IA interativos com movimento corporal completo que conseguem ouvir, falar e agir; o Vivix-W1 é um modelo multimodal nativo em streaming, que oferece um motor de narrativa interativa capaz de alterar o rumo da história em tempo real por voz, texto e toque, junto com o runtime de vídeo em tempo real Vivix IVI.

P2: Qual é a latência de interação do Vivix? R2: A latência do primeiro quadro é inferior a 0,6 s, a resposta a interrupções de 300–900 ms, a latência de ponta a ponta inferior a 1,7 s, e a latência de interação global é inferior a 1 s.

P3: Como me integro ao Vivix? R3: Acesse a plataforma aberta da Vivix API platform.vivix.ai, registre-se e crie uma API Key; crie a sessão de Avatar em tempo real pela interface REST e depois impulse a interação de áudio e vídeo pelo canal de controle WebSocket e pelo fluxo RTC.

P4: Placas de vídeo de consumo conseguem rodar em tempo real? R4: Sim. Um modelo de quase 30B de parâmetros ativos, por meio de destilação MJD e quantização NVFP4, realiza inferência em tempo real em uma única GPU de consumo, com custo de inferência inferior a 1 dólar por hora.