Vivixは、リアルタイムかつインタラクティブなマルチモーダル・モデルに特化したAIクリエイティブ・プラットフォームで、Vivix-A1（リアルタイム全二重、全身AIキャラクター生成可能）とVivix-W1（インタラクティブ・ナラティブ・エンジン）を提供します。MJD蒸留とNVFP4量子化により、約30Bパラメータのモデルがコンシューマー向けGPUでリアルタイム推論でき、エンドツーエンド遅延は1.7秒未満で、APIはすでに公開されています。
Vivixとは
Vivixは、リアルタイムかつインタラクティブなマルチモーダル・モデルに特化したAIクリエイティブ・プラットフォームです。主な製品には以下が含まれます。Vivix-A1は、全身の動きを持ち、聴き、話し、行動できるインタラクティブなAIキャラクターを生成できる、世界初のリアルタイム全二重（フルデュプレックス）モデルです。Vivix-W1は、音声・テキスト・タッチで物語の展開をリアルタイムに変えられるインタラクティブなナラティブ・エンジンと、リアルタイム映像ランタイムVivix IVIを備えたストリーミング・ネイティブなマルチモーダル・モデルです。Vivixは自社開発のMJD蒸留、NVFP4量子化、VMI推論エンジンにより、約30Bパラメータのモデルをコンシューマー向けGPU上でリアルタイムに動作させ、インタラクションの遅延を1秒未満に抑えています。Vivix-A1はAPIを公開済みです。
Vivixの主な機能
- 全身キャラクター生成: Vivix-A1は、歩行・回転・物の把持・ダンスができる全身AIデジタルヒューマンをリアルタイムに生成します。
- 全二重リアルタイム対話: ユーザーはいつでも音声で割り込み可能で、キャラクターの動作・表情・応答が即座に変化し、再生成は不要です。
- 音声と映像の同期出力: 音声・表情・ジェスチャー・環境音をネイティブかつ統合的にモデル化し、継ぎ目がありません。
- インタラクティブ・ナラティブ生成: Vivix-W1は、一文の入力で進化し続ける音声・映像ストーリーを生成でき、ユーザーは物語の展開をリアルタイムに変えられます。
- マルチモーダル入力: 音声・テキスト・画像・クリック・タッチなど、さまざまな方法で対話に参加できます。
- ライブコマースへの応用: デジタル主播が自由に歩き回り商品を展示でき、運営担当者は音声でリアルタイムに配信の方向性を調整できます。
- 超低遅延: 最初のフレームの遅延は0.6秒未満、割り込み応答は300–900ミリ秒、エンドツーエンド遅延は1.7秒未満です。
- コンシューマー向けハードウェアでのリアルタイム動作: 約30Bの活性パラメータを持つモデルが、MJD蒸留とNVFP4量子化により、コンシューマー向けGPU1枚でリアルタイム推論でき、コストは1時間あたり1ドル未満です。
Vivixの使い方
- 登録とAPI Keyの取得: Vivix APIオープンプラットフォーム platform.vivix.ai にアクセスし、アカウントを登録、開発者コンソールでAPI Keyを作成します。すべてのリクエストはベースURLを
https://api.vivix.ai/とし、Bearer認証を付与します。 - モデルの選択: 用途に応じてAシリーズ（リアルタイムAvatar対話、またはスクリプト駆動のAvatar映像）かWシリーズを選択します。例:
vivix-a1-stream、vivix-w1-streamなど。 - セッションの作成: RESTインターフェースの POST
/v1/realtime-avatar/sessionsにより、モード・キャラクター画像・音声の声質・ペルソナ指示・音声認識（server_vad等）などのパラメータを設定します。 - リアルタイム接続の確立: 返された
session_idを使って、WebSocket制御チャネル（wss://api.vivix.ai/v1/realtime-avatar/control）でセッションを操作します。音声・映像の出力はRTC（TRTC）ストリームで伝送されます。 - 対話の駆動: ユーザーの音声やテキストを会話コンテキストに書き込むと、Avatarが応答をリアルタイムに生成し、音声・映像・逐語字幕でストリーミング出力します。途中での割り込みにも対応します。
- リアルタイム介入: Streaming Controlインターフェースを通じて、生成中に画像・キャラクターの切り替え、動作コマンドの送信、あるいはスクリプト音声の直接挿入ができ、やり直す必要はありません。
- W1のワールドの遊び方: オープンなイベント（Event）で物語を駆動します。イベントは発効前にキャンセル可能で、セッションはhold/pauseとresumeをサポートし、いつでも新しいイベントを挿入して物語の展開を変えられます。
Vivixの核心的な強み
- 真の全二重対話: 「半二重」のリクエスト・レスポンス形式を突破し、モデルは音声・映像を継続的に生成しながら、いつでも新しい入力を受け取り、即座に内容を変えられます。
- 全身キャラクターの行動力: A1は全身動作生成をサポートする初のリアルタイム・モデルであり、キャラクターは歩行・回転・物の把持ができ、固定カメラで口パクするだけではありません。
- ネイティブなマルチモーダル構造: 音声・テキスト・画像を統一された信号空間でモデル化し、ASR+LLM+TTSの連結を回避します。知覚が直接行動を駆動し、音声・映像・動作が自然に同期します。
- 超低遅延: 最初のフレーム < 0.6秒、割り込み応答 300–900ミリ秒、エンドツーエンド < 1.7秒、インタラクション遅延は1秒未満です。
- 大規模パラメータ＋コンシューマー向けでのリアルタイム動作: 約30Bの活性パラメータに8x8x4の高品質圧縮率を組み合わせ、MJD蒸留と学習時NVFP4量子化により、コンシューマー向けGPU1枚で10,000 video tokens/s超を達成し、推論コストは1時間あたり1ドル未満です。
- ネイティブで割り込み可能なストリーミング構造: 因果的生成＋VMIコーデックの分離設計により、新しい指示はデコード経路に直接追加され、現在の生成を中断してやり直す必要はありません。
Vivixと類似競合の比較
| 比較項目 | Vivix | HeyGen LiveAvatar |
|---|---|---|
| 技術アプローチ | ネイティブなマルチモーダル生成モデル（活性パラメータ約30B）。知覚が直接生成を駆動し、ASR+LLM+TTSの直列ではない | 結合型パイプライン：自前のLLM/TTSを接続可能（Liteモード）またはフルセット利用（Fullモード）。基盤は事前レンダリングされたAvatar駆動 |
| キャラクターの表現力 | 全身動作生成：歩行・回転・物の把持・ダンス、オープンワールドでの自律行動 | 上半身の司会者スタイルが中心。Avatar IVは全身モーションキャプチャと微細表情を持つが、固定スタジオの枠内に限定 |
| ナラティブ能力 | W1はリアルタイム・インタラクティブ映像をサポート：一文で物語を生成し、ユーザーがいつでも展開を変えられる | その能力はなし。単一キャラクターの対話のみ |
| 最初のフレームの遅延 | TTFF < 0.6秒（公式基準） | 中央値の最初のフレーム < 300ミリ秒 |
| 割り込み能力 | ネイティブ割り込み 300–900ms。動作と応答が即座に変化 | 割り込みには対応するが、「聴取アニメーションへの切替＋現在の音声のキャンセル」として現れる |
| リアルタイム・コスト | 1時間あたり $1未満（公式テスト基準） | 約 $0.20/分（約 $12/時間、Full相当）。大量利用で $0.01/分まで低下可能 |
| 言語対応 | 対応言語数は非公開 | 175以上の言語で口の同期。デジタルクローンの複製は成熟 |
| 統合方法 | API ＋ WebSocket制御 ＋ RTCストリーム（A1は提供中、クローズドβ） | 純API。対話スタックの自前構築が必要。クレジットは月次失効 |
Vivixの応用シーン
- ライブコマース: 全身で登場し歩き回るデジタル主播が、試着・商品の把持を行い、運営担当者は音声でリアルタイムにトークや品ぞろえを調整。配信を中断する必要はありません。
- バーチャルパートナー／AIソーシャル: AI彼氏・彼女系アプリ。動作・表情・声音が自然に同期し、ユーザーはいつでも会話を割り込み、キャラクターが即座に対応します。
- インタラクティブ映像／インタラクティブ短編ドラマ: 一文を入力するだけでリアルタイムに進化する物語を生成。視聴者は音声やクリックでプロットの決定に参加し、「皆が監督」の視聴スタイルを開きます。
- ゲームNPCとオープンワールド: ゲームキャラクターに自律的な知覚と行動能力を与え、プレイヤーは音声でNPCと自然に対話し、オープンワールドのナラティブを推進できます。
- スマートカスタマーサービスとバーチャル販売員: 7×24時間稼働する全身デジタル従業員。商品のデモ、質問への回答、顧客のニーズへの即時対応ができ、Webサイト／アプリ／店頭大画面に組み込み可能です。
Vivixによくある質問
Q1：Vivixのコア・モデルは何ですか？ A1：Vivix-A1は世界初のリアルタイム全二重モデルであり、全身の動きを持ち、聴き・話し・行動できるインタラクティブなAIキャラクターを生成できます。Vivix-W1はストリーミング・ネイティブなマルチモーダル・モデルで、音声・テキスト・タッチで物語の展開をリアルタイムに変えられるインタラクティブなナラティブ・エンジンと、リアルタイム映像ランタイムVivix IVIを提供します。
Q2：Vivixのインタラクション遅延はどのくらいですか？ A2：最初のフレームの遅延は0.6秒未満、割り込み応答は300–900ミリ秒、エンドツーエンド遅延は1.7秒未満で、全体のインタラクション遅延は1秒未満です。
Q3：Vivixへの接続方法は？ A3：Vivix APIオープンプラットフォーム platform.vivix.ai にアクセスして登録・API Keyを作成し、RESTインターフェースでリアルタイムAvatarセッションを作成、その後WebSocket制御チャネルとRTCストリームで音声・映像対話を駆動します。
Q4：コンシューマー向けグラフィックスカードでリアルタイム動作しますか？ A4：はい。約30Bの活性パラメータを持つモデルが、MJD蒸留とNVFP4量子化により、コンシューマー向けGPU1枚でリアルタイム推論でき、推論コストは1時間あたり1ドル未満です。
よくある質問
Vivixのコア・モデルは何ですか？
Vivix-A1は世界初のリアルタイム全二重モデルであり、全身の動きを持ち、聴き・話し・行動できるインタラクティブなAIキャラクターを生成できます。Vivix-W1はストリーミング・ネイティブなマルチモーダル・モデルで、音声・テキスト・タッチで物語の展開をリアルタイムに変えられるインタラクティブなナラティブ・エンジンと、リアルタイム映像ランタイムVivix IVIを提供します。
Vivixのインタラクション遅延はどのくらいですか？
最初のフレームの遅延は0.6秒未満、割り込み応答は300–900ミリ秒、エンドツーエンド遅延は1.7秒未満で、全体のインタラクション遅延は1秒未満です。
Vivixへの接続方法は？
Vivix APIオープンプラットフォーム platform.vivix.ai にアクセスして登録・API Keyを作成し、RESTインターフェースでリアルタイムAvatarセッションを作成、その後WebSocket制御チャネルとRTCストリームで音声・映像対話を駆動します。
コンシューマー向けグラフィックスカードでリアルタイム動作しますか？
はい。約30Bの活性パラメータを持つモデルが、MJD蒸留とNVFP4量子化により、コンシューマー向けGPU1枚でリアルタイム推論でき、推論コストは1時間あたり1ドル未満です。
