內容摘要

Vivix 是專注即時互動多模態模型的 AI 創作平台,提供 Vivix-A1(即時全雙工、可生成全身動作 AI 角色)與 Vivix-W1(互動敘事引擎)。透過 MJD 蒸餾與 NVFP4 量化,近 30B 參數模型可在消費級 GPU 上即時推理,端到端延遲低於 1.7 秒,已開放 API。

Vivix是什麼

Vivix 是專注即時互動多模態模型的 AI 創作平台,核心產品包括:Vivix-A1,全球首個即時全雙工模型,可生成有全身動作、能聽、能說、能做的互動式 AI 角色;Vivix-W1,串流原生多模態模型,可透過語音、文字、觸控即時改變劇情走向的互動敘事引擎及即時影片執行環境 Vivix IVI。Vivix 自研 MJD 蒸餾、NVFP4 量化與 VMI 推理引擎,實現近 30B 參數模型在消費級 GPU 上即時運行,互動延遲低於 1 秒,Vivix-A1 已開放 API。

Vivix的主要功能

  • 全身角色生成:Vivix-A1 可即時生成會行走、轉身、拿取物體、跳舞的全身 AI 數位人。
  • 全雙工即時互動:使用者可隨時語音打斷,角色的動作、表情與回應即時改變,無需中斷重新生成。
  • 音畫同步輸出:語音、表情、手勢、環境聲原生統一建模,無拼接痕跡。
  • 互動敘事生成:Vivix-W1 輸入一句話可生成持續演進的音影片故事,使用者可即時改變劇情走向。
  • 多模態輸入:支援語音、文字、圖片、點擊、觸控等多種方式參與互動。
  • 直播電商應用:數位主播可自由走動、展示商品,營運人員可即時語音調整直播方向。
  • 超低延遲:首幀延遲小於 0.6 秒,打斷回應 300–900 毫秒,端到端延遲小於 1.7 秒。
  • 消費級硬體即時運行:近 30B 啟動參數模型透過 MJD 蒸餾與 NVFP4 量化,可在消費級 GPU 上單卡即時推理,成本低於每小時 1 美元。

如何使用Vivix

  • 註冊取得 API Key:造訪 Vivix API 開放平台 platform.vivix.ai,註冊帳號,在開發者後台建立 API Key,所有請求以 api.vivix.ai 為 base URL 並攜帶 Bearer 認證。
  • 選擇模型:依需求選 A 系列(即時 Avatar 互動或腳本驅動 Avatar 影片)或 W 系列,如 vivix-a1-stream、vivix-w1-stream 等。
  • 建立會話:透過 REST 介面 POST /v1/realtime-avatar/sessions,設定模式、角色形象圖、音色、人設指令、語音辨識(如 server_vad)等參數。
  • 建立即時連線:拿到回傳的 session_id 後,透過 WebSocket 控制通道(wss://api.vivix.ai/v1/realtime-avatar/control)操控會話,音畫輸出透過 RTC(TRTC)流傳輸。
  • 驅動互動:把使用者語音或文字寫入對話上下文,Avatar 即時生成回覆並以語音、影片、逐字字幕串流輸出,支援中途打斷。
  • 即時干預:透過 Streaming Control 介面可在生成中切換圖片/角色、傳送動作指令或直接腳本音訊,無需中斷重來。
  • W1 世界玩法:以開放事件(Event)驅動劇情,事件可在生效前取消,會話支援 hold/pause 與 resume,隨時插入新事件改變故事走向。

Vivix的核心優勢

  • 真全雙工互動:突破「半雙工」請求-回應模式,模型在持續生成音影片的同時能隨時接住新輸入並即時改變內容。
  • 全身角色行動力:A1 是首個支援完整全身動作生成的即時模型,角色能行走、轉身、拿取物體,而不只是固定機位對口型。
  • 原生多模態架構:語音、文字、圖片在統一訊號空間中建模,繞開 ASR+LLM+TTS 串聯,感知直接驅動行為,音畫動作自然同步。
  • 超低延遲:首幀延遲 < 0.6 秒、打斷回應 300–900 毫秒、端到端 < 1.7 秒,互動延遲低於 1 秒。
  • 大參數 + 消費級即時運行:近 30B 啟動參數配合 8x8x4 高品質壓縮率,透過 MJD 蒸餾與訓練期 NVFP4 量化,在消費級 GPU 上單卡跑出超 10,000 video tokens/s,推理成本低於每小時 1 美元。
  • 原生可打斷的串流架構:因果生成 + VMI 編解碼解耦設計,新指令直接在解碼鏈路追加,當前生成無需中斷重來。

Vivix的同類競品對比

對比維度 Vivix HeyGen LiveAvatar
技術路線 原生多模態生成模型(近30B啟動參數),感知直接驅動生成,非 ASR+LLM+TTS 串聯 拼接式管線:可接入自帶 LLM/TTS(Lite 模式)或用其全家桶(Full 模式),底層是預渲染 Avatar 驅動
角色表現力 全身動作生成:行走、轉身、拿取物體、跳舞,開放世界自主行動 上半身主持人風格為主,Avatar IV 有全身動作捕捉和微表情,但侷限在固定演播場景
敘事能力 W1 支援即時互動影視:一句話生成故事,使用者隨時改變劇情走向 無此能力,僅單角色對話
首幀延遲 TTFF < 0.6 秒(官方口徑) 中位首幀 < 300 毫秒
打斷能力 原生打斷 300–900ms,動作和回應即時改變 支援打斷處理,但表現為「切換傾聽動畫+取消當前語音」
即時成本 低於 $1/小時(官方測試口徑) 約 $0.20/分鐘(約 $12/小時,Full 檔),量大可降至 $0.01/分鐘
語言支援 未披露具體語種數 175+ 語言口型同步,數位分身克隆成熟
接入方式 API + WebSocket 控制 + RTC 流(A1 已上線,內測制) 純 API,需自行搭建對話堆疊,Credits 按月過期

Vivix的應用場景

  • 直播電商:數位主播全身出鏡走動、試穿拿取商品,營運人員即時語音調整話術和選品,無需中斷直播。
  • 虛擬伴侶/AI 社交:AI 女友/男友類應用,動作、表情、聲音自然同步,使用者可隨時打斷對話,角色即時應變。
  • 互動影視/互動短劇:輸入一句話生成即時演進的故事,觀眾透過語音、點擊參與劇情決策,開啟「每個人都是導演」的觀劇模式。
  • 遊戲 NPC 與開放世界:賦予遊戲角色自主感知和行動能力,玩家語音即可與 NPC 自然互動,推動開放世界敘事。
  • 智慧客服與虛擬導購:7×24 小時在線的全身數位員工,能演示產品、答疑並即時回應客戶需求,可嵌入網站/App/線下大螢幕。

Vivix的常見問題

Q1:Vivix 有哪些核心模型? A1:Vivix-A1 是全球首個即時全雙工模型,可生成有全身動作、能聽能說能做的互動式 AI 角色;Vivix-W1 是串流原生多模態模型,提供可透過語音、文字、觸控即時改變劇情走向的互動敘事引擎及即時影片執行環境 Vivix IVI。

Q2:Vivix 的互動延遲是多少? A2:首幀延遲小於 0.6 秒,打斷回應 300–900 毫秒,端到端延遲小於 1.7 秒,整體互動延遲低於 1 秒。

Q3:如何接入 Vivix? A3:造訪 Vivix API 開放平台 platform.vivix.ai 註冊並建立 API Key,透過 REST 介面建立即時 Avatar 會話,再以 WebSocket 控制通道與 RTC 流驅動音畫互動。

Q4:消費級顯卡能即時運行嗎? A4:可以。近 30B 啟動參數模型透過 MJD 蒸餾與 NVFP4 量化,可在消費級 GPU 上單卡即時推理,推理成本低於每小時 1 美元。

Vivix | Real-Time Interactive AI

常見問題

Vivix 有哪些核心模型?

Vivix-A1 是全球首個即時全雙工模型,可生成有全身動作、能聽能說能做的互動式 AI 角色;Vivix-W1 是串流原生多模態模型,提供可透過語音、文字、觸控即時改變劇情走向的互動敘事引擎及即時影片執行環境 Vivix IVI。

Vivix 的互動延遲是多少?

首幀延遲小於 0.6 秒,打斷回應 300–900 毫秒,端到端延遲小於 1.7 秒,整體互動延遲低於 1 秒。

如何接入 Vivix?

造訪 Vivix API 開放平台 platform.vivix.ai 註冊並建立 API Key,透過 REST 介面建立即時 Avatar 會話,再以 WebSocket 控制通道與 RTC 流驅動音畫互動。

消費級顯卡能即時運行嗎?

可以。近 30B 啟動參數模型透過 MJD 蒸餾與 NVFP4 量化,可在消費級 GPU 上單卡即時推理,推理成本低於每小時 1 美元。