Wan-Streamer v0.2 - 阿里通义发布全模态理解与生成模型

Wan-Streamer v0.2是什么

Wan-Streamer v0.2 是阿里通义实验室推出的面向实时双工交互的端到端全模态理解与生成模型。模型将”听、看、说、演”统一进单个 Transformer，原生支持文本、音频、视频的实时理解与同步生成，端到端响应延迟仅 550ms，输出分辨率 640×368@25FPS，让 AI 能像真人一样边听边看边回应，实现真正自然的面对面视频交流。

Wan-Streamer v0.2的主要功能

• 实时音视频对话：支持视频通话式面对面交互，AI 实时感知用户音视频并同步生成回应。
• 全模态理解：原生支持文本、音频、视频输入的实时理解，无需外部模块拼装。
• 音视频同步生成：同步输出语音与高清视频画面，实现声画完美同步。
• 微表情与手势生成：可生成自然的眼神、身体姿态、手势动作及场景细节。
• 自由角色扮演：支持通过自然语言描述实时生成任意角色进行对话。

Wan-Streamer v0.2的技术原理

• 原生流式架构：将用户输入与智能体输出统一映射到同一条因果时间线，无需等待整段话结束。
• 流式单元闭环：每 160ms 完成一次感知、理解、生成、解码的完整闭环，实现边说边听边回应。
• Thinker-Performer 双通路：Thinker 单卡负责低延迟感知与语言推理，Performer 多卡 Ulysses 并行负责高清视频生成。
• 时序重叠调度：单卡 Thinker 与多卡 Performer 计算窗口重叠，将视频生成成本从延迟敏感路径剥离。
• 端到端统一建模：将文本、音频、视频输入与输出统一进单个 Transformer，避免流水线割裂。

如何使用Wan-Streamer v0.2

目前 Wan-Streamer v0.2 以研究项目形式发布，具体开放体验入口及 API 接入方式需关注通义实验室后续官方公告。

Wan-Streamer v0.2的核心优势

• 极致低延迟：端到端 550ms，模型侧仅 200ms，显著快于主流实时语音对话模型。
• 全模态端到端：原生支持音视频同步理解与生成，无需 ASR、LLM、TTS 等外部模块拼装。
• 高画质输出：640×368@25FPS，支持微表情、手势和场景细节，不再局限于悬浮头部。
• 全双工交互：边说边听边回应，无需等待用户说完再处理，交流更自然。
• 架构可扩展：Thinker-Performer 双通路设计在提升画质的同时保持极低延迟。

Wan-Streamer v0.2的项目地址

• 项目官网：https://wan-streamer.com/
• arXiv技术论文：https://arxiv.org/pdf/2607.04443

Wan-Streamer v0.2的同类竞品对比

对比维度Wan-Streamer v0.2GPT-4o Realtime研发方阿里通义实验室OpenAI端到端延迟约 0.55s（含 350ms 网络）约 0.23–0.8s模型侧延迟约 200ms约 230ms视频输出640×368 @ 25FPS不支持视频感知支持支持音频输出支持支持文本输出支持支持端到端架构原生端到端 Transformer级联流水线（非端到端）全双工交互完全支持部分支持外部模块依赖无（原生统一建模）需 ASR + LLM + TTS 拼装架构设计Thinker-Performer 双通路 + Ulysses 并行单一路径

Wan-Streamer v0.2的应用场景

• 视频通话 AI 助手：打开摄像头可面对面交流，适用口语陪练、面试模拟、心理咨询等需要”在场感”的场景。
• 场景化教育：AI 老师可通过画面观察学生表情判断理解程度，实时调整教学节奏。
• 沉浸式游戏 NPC：游戏角色拥有表情、肢体语言和实时反应，与玩家进行真正”面对面”对话。
• 无障碍交互：为听障用户实时生成带精确唇语和手势的视频回应，为视障用户描述周围环境。
• 虚拟角色扮演：可与历史人物、艺术形象或自定义角色实时对话，实现沉浸式文化体验。