Qwen-Audio-3.0-Realtime 如何让语音交互懂倾听：更聪明？

阿里新一代实时语音模型如何让AI“听懂人心”？通过动态情感与多模态双工，实现拟人化交互。
核心内容：
1. 高表现力与共情对话：动态调整语气情感，支持音色克隆
2. 流畅双工交互：多模态感知，嘈杂环境下抗干扰
3. 智能任务处理：动态工具调用，超越基础聊天功能

语音交互的下一个形态是什么？是毫秒级的快速响应？是深度思考的逻辑推理？还是能够感知情绪、像真人般对谈的情感共鸣？如何让语音交互跨越“机械感”走向了“自然和智能”？我们也在持续探索。今天，我们想和大家分享阿里语音交互模型 Fun-Realtime-AudioChat 的全面升级（现已更名为 Qwen-Audio-3.0-Realtime），为大家带来这套完备的实时语音交互对话方案。

Qwen-Audio-3.0-Realtime 亮点速看：

1、根据语境动态调整语气与情感表达，支持音色克隆，告别机械朗读感；

2、内置多模态双工控制模型，支持声纹级背景过滤，嘈杂环境下对话依然流畅，不易被打断；

3、Artificial Analysis 子项中综合排名第一，超越 OpenAI GPT-Realtime-2；

4、支持动态工具调用，可完成路线规划、信息查询等任务，不止是聊天。

我们先通过几个真实的交互切片，看看 Qwen-Audio-3.0-Realtime 在实际对话中的表现。

一、高表现力与共情对话

Qwen-Audio-3.0-Realtime 突破了传统语音助手"机械朗读"的局限，具备高表现力的音频回复与共情对话能力。

模型能够根据对话语境动态调整语气、节奏、音调和情感表达，实现真正拟人化的语音交互。同时针对自定义音色需求，也提供了音色克隆能力配置用于实际业务应用。在 S2S 语音指令遵循公开 Benchmark VStyle 上取得 SOTA 效果。在多种复杂语境下，Qwen-Audio-3.0-Realtime 也能轻松应对～

• 在激烈的辩论场景中，准确理解对方论点、快速组织反驳逻辑，同时保持口语化表达和适当的语气强度。
• 角色扮演时，能根据设定的角色（如历史人物、职业身份等）调整说话风格、用词习惯和情感表达，并响应显式指令进行风格切换。
• 在情感陪伴中，当你倾诉烦恼或分享喜悦时，通过语调、节奏和内容表达共情，提供温暖的情感支持。

这些表现的背后，是我们在生成侧的深度优化：

• 情感感知生成：识别你的情绪状态，并给予有温度的共情回应。
• 韵律动态调整：根据语义重点与对话节奏，自动调整语速、停顿、重音等韵律特征。
• 副语言信息处理：能够理解和生成笑声、叹息、犹豫等非语言声音信号，还原真人交流的细腻。 
• 个性化风格适配：一秒切换专属说话风格，完美演绎你设定的任何角色。

你可以让它做懂你的 AI 伴侣，提供情感陪伴；也能化身专业的智能客服，随情绪调整策略。 化身教育助手，用鼓励的语气激发学习动力；变身娱乐搭子，陪你角色扮演、沉浸式讲故事。

二、流畅双工交互

真实的对话往往发生在开放且复杂的环境中。为了让交互更加自然流畅，Qwen-Audio-3.0-Realtime 内置了“多模态感知的双工控制”模型，能够感知语音、环境、背景、说话人等丰富的音频和语义信息，进行精准的双工节奏判断。

无论身处何种复杂声场，它都能保持从容：

• 嘈杂背景环境下的双工对话：在餐厅、开放工区等嘈杂环境中，不受干扰，精准锁定你的声音。
• 多人交谈不打断：在多人讨论中，准确识别主对话对象，不被旁听者干扰。
• 多说话人智能切换：根据上下文和语义线索，智能判断当前对话对象，在不同说话人间自然切换。

这些自然倾听的背后，是我们在控制侧的重构：多模态感知与智能打断检测：同时分析音频、语义与声纹特征，敏锐分辨“环境杂音”与“你的真实插话”，避免误判。声纹级抗干扰（开发者进阶能力）：除了环境噪声鲁棒性，我们还在 Realtime-API 中预留了 audio_prompt 字段。开发者可传入特定用户提前录制的音频列表，使模型在双工对话中实现“声纹级”的精准锁定，忽略其他人声和背噪，达成极致开放场景下的流畅双工。凭借上述技术，Qwen-Audio-3.0-Realtime 在 Artificial Analysis 对话动态子项中取得 SOTA 成绩，打断检测准确率、响应时延等关键指标全面领先。注：上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。无论是在喧嚣的咖啡厅或交通工具上，它都能为你保持流畅对话；在多人会议或家庭聚会中，它能精准锁定主对话对象，从容应对旁人干扰与自然插话；即使在高并发的客服呼叫中心，它依然能保持稳定的对话质量。

三、不止于聊天：Agentic 与动态工具调用

Qwen-Audio-3.0-Realtime 具备强大的 Agentic 能力和动态工具调用机制。它能根据对话上下文智能判断何时调用工具、何时日常聊天，实现无缝的任务执行与对话切换。

为了验证模型在复杂业务中的工具调用与任务执行能力，我们在 TauBench（涵盖零售、航空、电信等真实业务领域）进行了测试（注：Audio 模型将 UserSimulator 改为语音输入）。面对你包含多重约束的复杂口语指令，Qwen-Audio-3.0-Realtime 能准确拆解意图，自动调用外部工具，进行多步推理与计算，最终给出完整、可行且时间精确的行动方案。

让语音长出“手脚”，得益于以下核心特性的支撑：

• 动态工具路由：深刻理解你的意图，无需显式指令即可自动调用合适工具。

• 多工具协同：支持同时注册多个工具，根据任务复杂度灵活组合。

• 统一能力接入：基于 FunctionCall 标准协议可以完成 MCP、API、知识库的引入。

• 上下文感知：工具返回的结果自动融入对话记忆，让多轮辅助对话如丝般顺滑。

只需一句话，它就能帮你搞定本地生活的路线规划与餐厅推荐，或是查询实时新闻与股票行情；它甚至能直接接管复杂的任务执行与数据分析，如日程安排、表格查询，让语音真正成为你的超级助理。

四、底座支撑：同时兼顾“快”与“聪明”

为了兼顾复杂推理与快速对话，同时解决“语音模型智商衰减”这一痛点，我们在底层架构上进行了创新。

On-Policy Distillation 与多教师蒸馏

我们采用 On-Policy Distillation 框架，将文本大模型的完整推理能力蒸馏至语音模型。同时引入多教师蒸馏策略，确保模型在各个维度“不偏科”：

• 口语多轮偏好教师保证口语化表达偏好与指令遵循；

• 通用教师保证基本问答和推理能力；

• Agentic教师保证工具调用与复杂任务执行；

• 音频理解教师负责音频及副语言信息对话及推理。

此外，Qwen-Audio-3.0-Realtime 提供了针对日常问答等极度敏感时延的场景，直接生成回复，实现毫秒级响应。 

得益于此，Qwen-Audio-3.0-Realtime 在全球权威评测 Artificial Analysis 的 Speech Reasoning（语音推理） 子项中取得了综合排名第一的成绩。 

注：上图评测基于 Qwen-Audio-3.0-Realtime 的 Preview 版本 Fun-Realtime-AudioChat 提交。

在 VoiceBench（验证事实准确性与知识检索）和 AudioMultiChallenge（验证多轮指令遵循）等主流基准测试中同样表现优异：

• VoiceBench：在业界主流的语音问答基准测试中表现优异，验证了模型在开放域问答、知识检索、事实准确性等方面的能力。（plus：标准prompt-92.5，口语prompt-90.5 ，下降2.0；flash：标准prompt-89.8，口语prompt-87.5，下降2.4）
  

• AudioMultiChallenge：在多轮音频对话挑战赛中展现出色的指令遵循能力和上下文理解能力（plus：标准prompt-44.0，口语prompt-37.6，下降6.4；flash：标准prompt-43.6，口语prompt-38.1，下降5.5）

这证明了它不仅能“听见”，更能“听懂并深度思考”。

目前，Qwen-Audio-3.0-Realtime 已上线，你可以进入千问云体验！

体验地址

qwen-audio-3.0-realtime-plus:
https://www.qianwenai.com/models/qwen-audio-3.0-realtime-plus
qwen-audio-3.0-realtime-flash: 
https://www.qianwenai.com/models/qwen-audio-3.0-realtime-flash

千问云-为Agent而生，驱动AI生产力
扫描下方二维码，直达千问云体验

点击阅读原文即可体验！

登录查看剩余 70% 内容