Vivix — платформа создания ИИ, сфокусированная на интерактивных мультимодальных моделях реального времени, предлагающая Vivix-A1 (полный дуплекс реального времени, генерация ИИ-персонажей с полным телом) и Vivix-W1 (движок интерактивного повествования). Благодаря дистилляции MJD и квантованию NVFP4 модели почти с 30B параметров выполняют вывод в реальном времени на потребительских GPU со сквозной задержкой менее 1,7 с, и API уже открыт.
Что такое Vivix
Vivix — это платформа создания ИИ, сфокусированная на интерактивных мультимодальных моделях реального времени. Ключевые продукты включают: Vivix-A1 — первую в мире полнодуплексную модель реального времени, способную генерировать интерактивных ИИ-персонажей с полноценными движениями всего тела, которые слышат, говорят и действуют; Vivix-W1 — потоковую нативную мультимодальную модель, служащую интерактивным движком повествования, позволяющим менять сюжет в реальном времени голосом, текстом и касанием, а также среду выполнения видео реального времени Vivix IVI. Собственные дистилляция MJD, квантование NVFP4 и движок вывода VMI от Vivix позволяют моделям с почти 30B параметров работать в реальном времени на потребительских GPU с задержкой взаимодействия менее 1 секунды. API Vivix-A1 уже открыт.
Основные функции Vivix
- Генерация персонажей с полным телом: Vivix-A1 может в реальном времени генерировать цифровых людей ИИ с полным телом, способных ходить, поворачиваться, брать предметы и танцевать.
- Полнодуплексное взаимодействие в реальном времени: Пользователи могут в любой момент прервать голосом; движение, мимика и ответ персонажа мгновенно меняются без повторной генерации.
- Синхронизированный аудиовизуальный вывод: Речь, мимика, жесты и фоновые звуки нативно объединены в единой модели без швов.
- Генерация интерактивного повествования: Vivix-W1 может из одной фразы сгенерировать развивающуюся аудиовизуальную историю, и пользователь может менять ход сюжета в реальном времени.
- Мультимодальный ввод: Поддерживает голос, текст, изображения, клики, касание и другие способы взаимодействия.
- Применение в прямом эфире e-commerce: Цифровые ведущие могут свободно перемещаться и показывать товары, а операторы в реальном времени голосом корректируют направление эфира.
- Сверхнизкая задержка: Задержка первого кадра менее 0,6 с, ответ на прерывание 300–900 миллисекунд, сквозная задержка менее 1,7 с.
- Работа в реальном времени на потребительском оборудовании: Модели с почти 30B активированных параметров благодаря дистилляции MJD и квантованию NVFP4 могут выполнять вывод в реальном времени на одной потребительской GPU по цене менее 1 $ в час.
Как использовать Vivix
- Зарегистрироваться и получить API Key: Посетите платформу API Vivix по адресу platform.vivix.ai, создайте учётную запись и API Key в консоли разработчика. Все запросы используют
https://api.vivix.ai/как базовый URL с аутентификацией Bearer. - Выбрать модель: В зависимости от задач выберите серию A (взаимодействие с Avatar в реальном времени или видео Avatar по сценарию) или серию W, например
vivix-a1-stream,vivix-w1-stream. - Создать сессию: Через REST-интерфейс POST
/v1/realtime-avatar/sessionsнастройте параметры, такие как режим, изображение персонажа, голос, инструкции персоны и распознавание речи (например, server_vad). - Установить соединение реального времени: Получив возвращённый
session_id, управляйте сессией через управляющий канал WebSocket (wss://api.vivix.ai/v1/realtime-avatar/control); аудиовизуальный вывод передаётся по RTC (TRTC). - Управлять взаимодействием: Записывайте голос или текст пользователя в контекст беседы; Avatar генерирует ответы в реальном времени и потоково выводит их голосом, видео и пословными субтитрами с поддержкой прерывания на лету.
- Вмешательство в реальном времени: Через интерфейс Streaming Control вы можете во время генерации менять изображения/персонажей, отправлять команды действий или напрямую скриптовать аудио без прерывания.
- Игровой мир W1: Сюжет управляется открытыми событиями (Event); событие можно отменить до вступления в силу. Сессии поддерживают hold/pause и resume, позволяя в любой момент вставлять новые события для изменения истории.
Ключевые преимущества Vivix
- Настоящее полнодуплексное взаимодействие: Прорывая «полудуплексный» паттерн запрос-ответ, модель может в любой момент принять новый ввод и мгновенно изменить содержимое, продолжая генерировать аудио и видео.
- Способность к действиям всем телом: A1 — первая модель реального времени, поддерживающая полную генерацию движений тела — персонажи могут ходить, поворачиваться и брать предметы, а не просто синхронизировать губы в фиксированном кадре.
- Нативная мультимодальная архитектура: Речь, текст и изображения моделируются в едином сигнальном пространстве, обходя каскад ASR+LLM+TTS, поэтому восприятие напрямую управляет поведением с естественной синхронизацией аудиовизуального движения.
- Сверхнизкая задержка: Задержка первого кадра < 0,6 с, ответ на прерывание 300–900 мс, сквозная < 1,7 с, общая задержка взаимодействия менее 1 с.
- Большие параметры + потребительское реальное время: Почти 30B активированных параметров с коэффициентом сжатия 8x8x4 благодаря дистилляции MJD и квантованию NVFP4 на этапе обучения достигают более 10 000 видео-токенов/с на одной потребительской GPU с ценой вывода менее 1 $ в час.
- Нативная прерываемая потоковая архитектура: Причинная генерация + развязка кодека VMI позволяют добавлять новые команды прямо в цепочку декодирования, поэтому текущую генерацию не нужно прерывать и перезапускать.
Сравнение Vivix с конкурентами
| Параметр сравнения | Vivix | HeyGen LiveAvatar |
|---|---|---|
| Технический подход | Нативная мультимодальная генеративная модель (почти 30B активированных параметров); восприятие напрямую управляет генерацией, не каскад ASR+LLM+TTS | Сборная конвейерная цепь: можно подключить собственный LLM/TTS (режим Lite) или использовать полный набор (режим Full); в основе — драйвер предварительно отрендеренного Avatar |
| Выразительность персонажа | Генерация движений всего тела: ходьба, поворот, взятие предметов, танцы, автономные действия в открытом мире | Преимущественно стиль ведущего верхней частью тела; Avatar IV имеет захват движений всего тела и микромимику, но ограничен фиксированными студийными сценами |
| Нарративные возможности | W1 поддерживает интерактивное кино/ТВ реального времени: сгенерировать историю из одной фразы, пользователь меняет сюжет в любой момент | Нет такой возможности; только диалог с одним персонажем |
| Задержка первого кадра | TTFF < 0,6 с (официально) | Медианная задержка первого кадра < 300 мс |
| Способность к прерыванию | Нативное прерывание 300–900 мс; движение и ответ меняются мгновенно | Поддерживает обработку прерывания, но проявляется как «переключение на анимацию прослушивания + отмена текущей речи» |
| Стоимость в реальном времени | Менее 1 $/час (официальное тестирование) | Около 0,20 $/минуту (около 12 $/час, тариф Full); при большом объёме может упасть до 0,01 $/минуту |
| Поддержка языков | Точное число языков не раскрыто | 175+ языков с синхронизацией губ; зрелый цифровой клон |
| Способ интеграции | API + управление WebSocket + поток RTC (A1 запущен, закрытая бета) | Чистый API, требуется собственный стек диалога; кредиты истекают ежемесячно |
Сценарии применения Vivix
- Прямой эфир e-commerce: Цифровые ведущие с полным телом появляются и ходят, примеряют и берут товары, а операторы в реальном времени голосом корректируют скрипты и подборку, не прерывая эфир.
- Виртуальные собеседники / ИИ-общение: Приложения вроде ИИ-парня/девушки, где движение, мимика и голос естественно синхронизированы; пользователь может прервать диалог в любой момент, и персонаж мгновенно реагирует.
- Интерактивное кино/ТВ / интерактивные короткометражки: Сгенерируйте из одной фразы развивающуюся в реальном времени историю; зрители участвуют в сюжетных решениях голосом и кликами, открывая режим «каждый — режиссёр».
- NPC в играх и открытые миры: Наделите игровых персонажей автономным восприятием и действиями; игроки естественно взаимодействуют с NPC голосом, продвигая открытое повествование.
- Умный клиентский сервис и виртуальные консультанты: Цифровые сотрудники с полным телом онлайн 7×24, способные демонстрировать товары, отвечать и реагировать на потребности клиентов в реальном времени, встраиваемые в сайты/приложения/физические экраны.
Частые вопросы о Vivix
Q1: Какие основные модели у Vivix? A1: Vivix-A1 — первая в мире полнодуплексная модель реального времени, способная генерировать интерактивных ИИ-персонажей с полноценными движениями тела, которые слышат, говорят и действуют; Vivix-W1 — потоковая нативная мультимодальная модель, предоставляющая интерактивный движок повествования и среду выполнения видео реального времени Vivix IVI, позволяющую менять сюжет в реальном времени голосом, текстом и касанием.
Q2: Какова задержка взаимодействия Vivix? A2: Задержка первого кадра менее 0,6 с, ответ на прерывание 300–900 миллисекунд, сквозная задержка менее 1,7 с, общая задержка взаимодействия менее 1 с.
Q3: Как подключить Vivix? A3: Посетите платформу API Vivix по адресу platform.vivix.ai, чтобы зарегистрироваться и создать API Key, создайте сессию Avatar реального времени через REST-интерфейс, а затем управляйте аудиовизуальным взаимодействием через управляющий канал WebSocket и поток RTC.
Q4: Может ли потребительская видеокарта работать в реальном времени? A4: Да. Модели с почти 30B активированных параметров благодаря дистилляции MJD и квантованию NVFP4 могут выполнять вывод в реальном времени на одной потребительской GPU по цене менее 1 $ в час.
Частые вопросы
Какие основные модели у Vivix?
Vivix-A1 — первая в мире полнодуплексная модель реального времени, способная генерировать интерактивных ИИ-персонажей с полноценными движениями тела, которые слышат, говорят и действуют; Vivix-W1 — потоковая нативная мультимодальная модель, предоставляющая интерактивный движок повествования и среду выполнения видео реального времени Vivix IVI, позволяющую менять сюжет в реальном времени голосом, текстом и касанием.
Какова задержка взаимодействия Vivix?
Задержка первого кадра менее 0,6 с, ответ на прерывание 300–900 миллисекунд, сквозная задержка менее 1,7 с, общая задержка взаимодействия менее 1 с.
Как подключить Vivix?
Посетите платформу API Vivix по адресу platform.vivix.ai, чтобы зарегистрироваться и создать API Key, создайте сессию Avatar реального времени через REST-интерфейс, а затем управляйте аудиовизуальным взаимодействием через управляющий канал WebSocket и поток RTC.
Может ли потребительская видеокарта работать в реальном времени?
Да. Модели с почти 30B активированных параметров благодаря дистилляции MJD и квантованию NVFP4 могут выполнять вывод в реальном времени на одной потребительской GPU по цене менее 1 $ в час.
