Was ist Vivix: Plattform für Echtzeit-Full-Duplex-Multimodal-KI

Was ist Vivix

Vivix ist eine KI-Creationsplattform, die sich auf Echtzeit-interaktive Multimodal-Modelle spezialisiert hat. Zu den Kernprodukten gehören: Vivix-A1, das weltweit erste Echtzeit-Full-Duplex-Modell, das interaktive KI-Charaktere mit Ganzkörperbewegung erzeugen kann, die hören, sprechen und handeln; Vivix-W1, ein streamendes natives Multimodal-Modell, das als interaktive Erzähl-Engine dient, die Handlungsverläufe in Echtzeit per Sprache, Text und Berührung ändern kann, sowie die Echtzeit-Video-Laufzeit Vivix IVI. Vivix' proprietäre MJD-Destillation, NVFP4-Quantisierung und VMI-Inferenz-Engine ermöglichen den Echtzeit-Betrieb von Modellen mit nahezu 30B Parametern auf Consumer-GPUs mit einer Interaktionslatenz unter 1 Sekunde. Die Vivix-A1-API ist nun verfügbar.

Die wichtigsten Funktionen von Vivix

• Ganzkörper-Charaktergenerierung: Vivix-A1 kann in Echtzeit Ganzkörper-AI-Digitalmenschen erzeugen, die gehen, sich umdrehen, Objekte aufnehmen und tanzen können.
• Full-Duplex-Echtzeit-Interaktion: Nutzer können jederzeit per Sprache unterbrechen; die Bewegung, Mimik und Reaktion des Charakters ändert sich sofort ohne Neugenerierung.
• Synchronisierte Audio-Video-Ausgabe: Sprache, Mimik, Gesten und Umgebungsgeräusche werden nativ in einem einzigen Modell vereinheitlicht, ohne Übergänge.
• Interaktive Erzählgenerierung: Vivix-W1 kann aus einem einzigen Satz eine sich weiterentwickelnde Audio-Video-Geschichte erzeugen, und Nutzer können die Handlung in Echtzeit ändern.
• Multimodale Eingabe: Unterstützt Sprache, Text, Bilder, Klicks, Berührung und andere Interaktionsformen.
• Live-Commerce-Anwendungen: Digitale Moderatoren können sich frei bewegen und Produkte zeigen, während Betreiber die Sendung in Echtzeit per Sprache steuern.
• Ultra-niedrige Latenz: First-Frame-Latenz unter 0,6 Sekunden, Unterbrechungsreaktion 300–900 Millisekunden, Ende-zu-Ende-Latenz unter 1,7 Sekunden.
• Echtzeit auf Consumer-Hardware: Modelle mit nahezu 30B aktivierten Parametern laufen per MJD-Destillation und NVFP4-Quantisierung in Echtzeit auf einer einzelnen Consumer-GPU zu Kosten unter 1 $ pro Stunde.

Wie man Vivix nutzt

• Registrieren und API-Key erhalten: Besuchen Sie die Vivix-API-Plattform unter platform.vivix.ai, erstellen Sie ein Konto und einen API-Key im Entwickler-Backend. Alle Anfragen nutzen https://api.vivix.ai/ als Base-URL mit Bearer-Authentifizierung.
• Modell wählen: Wählen Sie je nach Bedarf die A-Serie (Echtzeit-Avatar-Interaktion oder skriptgesteuerte Avatar-Videos) oder die W-Serie, z. B. vivix-a1-stream, vivix-w1-stream.
• Sitzung erstellen: Über die REST-Schnittstelle POST /v1/realtime-avatar/sessions, konfigurieren Sie Parameter wie Modus, Charakterbild, Stimme, Persona-Anweisungen und Spracherkennung (z. B. server_vad).
• Echtzeit-Verbindung aufbauen: Nach Erhalt der zurückgegebenen session_id steuern Sie die Sitzung über den WebSocket-Steuerkanal (wss://api.vivix.ai/v1/realtime-avatar/control); die Audio-Video-Ausgabe erfolgt per RTC (TRTC).
• Interaktion steuern: Schreiben Sie die Sprache oder den Text des Nutzers in den Gesprächskontext; der Avatar generiert Antworten in Echtzeit und streamt sie als Sprache, Video und Wort-für-Wort-Untertitel, mit Unterstützung für Unterbrechung mitten im Ablauf.
• Echtzeit-Eingriff: Über die Streaming-Control-Schnittstelle können Sie während der Generierung Bilder/Charaktere wechseln, Aktionsbefehle senden oder direkt Audio skripten, ohne zu unterbrechen.
• W1-Welt-Gameplay: Die Handlung wird von offenen Events (Event) gesteuert, die vor ihrem Wirksamwerden abgebrochen werden können. Sitzungen unterstützen hold/pause und resume, sodass jederzeit neue Events eingefügt werden können, um die Geschichte zu ändern.

Die Kernvorteile von Vivix

• Echtes Full-Duplex: Durchbricht das "Halb-Duplex"-Anfrage-Antwort-Muster; das Modell kann neue Eingaben jederzeit aufnehmen und den Inhalt sofort ändern, während es kontinuierlich Audio und Video erzeugt.
• Ganzkörper-Handlungsfähigkeit: A1 ist das erste Echtzeit-Modell, das vollständige Ganzkörper-Bewegungsgenerierung unterstützt—Charaktere können gehen, sich drehen und Objekte aufnehmen, statt nur in einer festen Kamera Lippen zu synchronisieren.
• Native Multimodal-Architektur: Sprache, Text und Bilder werden in einem vereinheitlichten Signalraum modelliert und umgehen die ASR+LLM+TTS-Kaskade, sodass Wahrnehmung direkt Verhalten steuert und Audio-Video-Bewegung natürlich synchron ist.
• Ultra-niedrige Latenz: First-Frame-Latenz < 0,6 s, Unterbrechungsreaktion 300–900 ms, Ende-zu-Ende < 1,7 s, Gesamt-Interaktionslatenz unter 1 Sekunde.
• Große Parameter + Consumer-Echtzeit: Nahezu 30B aktivierte Parameter mit 8x8x4-Kompressionsrate, per MJD-Destillation und NVFP4-Quantisierung in der Trainingsphase, erzielen über 10.000 Video-Tokens/s auf einer einzelnen Consumer-GPU, mit Inferenzkosten unter 1 $ pro Stunde.
• Nativ unterbrechbare Streaming-Architektur: Kausale Generierung + VMI-Codec-Entkopplung lassen neue Befehle direkt in die Decodierkette einfügen, sodass die laufende Generierung nicht unterbrochen und neu gestartet werden muss.

Vivix im Vergleich zu Mitbewerbern

Anwendungsszenarien von Vivix

• Live-Commerce: Ganzkörper-Digital-Moderatoren erscheinen und gehen umher, probieren Produkte an und nehmen sie auf, während Betreiber Skripte und Auswahl in Echtzeit per Sprache anpassen, ohne den Stream zu unterbrechen.
• Virtuelle Begleiter / AI-Social: AI-Freund/-Freundin-Apps, bei denen Bewegung, Mimik und Stimme natürlich synchronisiert sind; Nutzer können Gespräche jederzeit unterbrechen und der Charakter reagiert sofort.
• Interaktiver Film/Fernsehen / interaktive Kurzfilme: Aus einem Satz eine sich in Echtzeit entwickelnde Geschichte erzeugen; Zuschauer nehmen per Sprache und Klicks an Plot-Entscheidungen teil und eröffnen den "Jeder ist Regisseur"-Modus.
• Spiel-NPCs und offene Welten: Spielcharakteren autonome Wahrnehmung und Handlung verleihen; Spieler interagieren natürlich per Sprache mit NPCs und treiben die Open-World-Story voran.
• Smarten Kundenservice und virtuelle Einkaufsberater: 7×24-Stunden online Ganzkörper-Digitalmitarbeiter, die Produkte demonstrieren, Fragen beantworten und Kundenbedarf in Echtzeit reagieren, einbettbar in Websites/Apps/physische Großbildschirme.

Häufige Fragen zu Vivix

Q1: Welche Kernmodelle hat Vivix? A1: Vivix-A1 ist das weltweit erste Echtzeit-Full-Duplex-Modell, das interaktive KI-Charaktere mit Ganzkörperbewegung erzeugen kann, die hören, sprechen und handeln; Vivix-W1 ist ein streamendes natives Multimodal-Modell, das eine interaktive Erzähl-Engine und die Echtzeit-Video-Laufzeit Vivix IVI bereitstellt und Echtzeit-Handlungsänderungen per Sprache, Text und Berührung ermöglicht.

Q2: Wie hoch ist die Interaktionslatenz von Vivix? A2: First-Frame-Latenz unter 0,6 Sekunden, Unterbrechungsreaktion 300–900 Millisekunden, Ende-zu-Ende-Latenz unter 1,7 Sekunden, mit einer Gesamt-Interaktionslatenz unter 1 Sekunde.

Q3: Wie integriere ich Vivix? A3: Besuchen Sie die Vivix-API-Plattform unter platform.vivix.ai, um sich zu registrieren und einen API-Key zu erstellen, erstellen Sie eine Echtzeit-Avatar-Sitzung über die REST-Schnittstelle und treiben Sie dann die Audio-Video-Interaktion über den WebSocket-Steuerkanal und RTC-Stream.

Q4: Können Consumer-GPUs es in Echtzeit betreiben? A4: Ja. Modelle mit nahezu 30B aktivierten Parametern laufen per MJD-Destillation und NVFP4-Quantisierung in Echtzeit auf einer einzelnen Consumer-GPU, mit Inferenzkosten unter 1 $ pro Stunde.