Xiaomi-Robotics-0快速摘要：实时VLA机器人控制模型与具身智能执行能力 Xiaomi-Robotics-0 是小米集团研发的Vision-Language-Action（VLA）机器人控制模型 ，支持视觉-语言-动作统一建模与实时推理执行，适用于机器人操作、复杂任务规划与具身智能系统部署。
模型名称： Xiaomi-Robotics-0（Vision-Language-Action机器人控制模型）开发公司： 小米集团（Xiaomi Robotics / AI Lab）发布时间： 2026年2月12日（技术报告发布，2026年4月更新Post-training代码）主要功能： VLA统一建模、机器人动作生成、视觉语言理解、实时控制执行（官方定义为real-time execution VLA model）使用要求： 需GPU推理环境（推荐PyTorch 2.8 + CUDA 12），支持Hugging Face Transformers部署开源情况： 已开源（模型权重、推理代码、评测代码与Post-training pipeline已公开）适用场景： 机器人抓取、双臂操作、家庭服务机器人、工业自动化与仿真环境控制技术特点： 4.7B参数VLM+DiT架构、Flow Matching动作生成、异步实时执行机制性能数据： LIBERO 98.7%、CALVIN 4.80/4.75、SimplerEnv最高85.5%（据官方benchmark结果）Xiaomi-Robotics-0的核心优势 统一VLA多模态建模能力： 模型基于视觉-语言-动作统一架构，将图像、语言指令与机器人状态融合建模，采用Qwen3-VL-4B-Instruct作为VLM编码器生成KV cache，再由DiT进行动作生成，使输入“Pick up red block”可直接输出控制序列，在LIBERO任务中达到98.7%成功率。高精度Flow Matching动作生成： 采用Diffusion Transformer（DiT）结合Flow Matching损失生成连续action chunk，相比离散动作策略具备更平滑控制能力，在CALVIN benchmark中平均任务长度达到4.80（ABCD-D split），显著提升长序列任务稳定性。异步实时执行机制： 通过Δtc动作前缀与Δtinf推理延迟解耦，实现边执行边推理机制，在机器人执行当前动作chunk时并行生成下一chunk，确保系统持续输出动作流，官方测试表明可实现稳定real-time rollout。跨实体泛化训练能力： 预训练使用约200M机器人轨迹与80M视觉语言数据，通过跨embodiment学习增强泛化能力，使模型可适配不同机器人形态，在SimplerEnv中Visual Matching达到85.5%准确率。高效部署与推理优化： 支持Hugging Face Transformers生态，结合Flash Attention 2与bfloat16推理优化，在消费级GPU上可运行，模型参数量4.7B，在保持精度同时降低推理延迟至可工程部署级别。Xiaomi-Robotics-0的核心功能 视觉语言指令解析： 输入自然语言指令与多视角图像（如base view + wrist view），模型通过VLM编码生成语义KV cache。机器人动作chunk生成： DiT基于Flow Matching生成连续动作序列。多视角环境建模： 支持多摄像头输入融合，将base camera与wrist camera特征拼接输入模型，实现空间理解。任务级策略拆解： 将高层语言任务拆解为低层动作序列。实时控制反馈系统： 通过proprioceptive state输入实时反馈机器人状态，并动态调整下一动作chunk，使系统在失败情况下自动修正抓取策略。Xiaomi-Robotics-0的技术原理 VLM+DiT双模块架构： 采用Qwen3-VL-4B-Instruct作为视觉语言模型编码器，生成KV cache表示语义信息，再通过Diffusion Transformer（DiT）生成动作序列，实现语言到动作的分层映射结构。Flow Matching动作生成机制： 使用flow matching损失函数优化连续动作生成，使模型学习从噪声分布到真实动作分布的映射，在机器人控制任务中提升轨迹平滑性与稳定性。跨模态KV缓存机制： VLM输出的KV cache作为DiT条件输入，使动作生成过程依赖视觉与语言联合特征，而非单一模态，提高复杂任务理解能力。异步执行时间解耦设计： 通过Δtc > Δtinf设计，使当前动作执行与下一动作推理并行进行，避免等待推理造成的控制中断，实现连续机器人动作流。Post-training任务适配机制： 采用action prefixing与Λ-shape attention mask，使模型在连续动作chunk之间保持一致性，同时通过随机mask降低动作序列过拟合，提高真实环境适应性。Xiaomi-Robotics-0与主流模型对比 对比维度 Xiaomi-Robotics-0 Kairos 3.0-4B Spirit-v1.5 UnifoLM-VLA-0 参数规模 4.7B 4B 约3B级 约4B级 核心架构 Qwen3-VL + DiT + Flow Matching VLA Transformer 统一动作生成架构 多模态VLA架构 实时推理能力 异步执行优化 支持实时推理 支持低延迟控制 支持实时rollout Benchmark表现 LIBERO 98.7% 公开结果较少 具备公开任务成绩 多任务表现较强 训练数据规模 200M轨迹+80M VL 多实体机器人数据 跨任务操作数据 大规模动作数据 开源与部署 完整开源+HF部署 开放权重 研究开源 开放部署框架 典型优势场景 双臂精细操作 泛化任务执行 低延迟控制 复杂长任务规划
从机器人模型技术路线看，Xiaomi-Robotics-0优势主要来自两部分：一是4.7B参数VLM+DiT结合Flow Matching动作生成，相比传统VLA Transformer在连续动作平滑性与响应稳定性上更强；二是异步执行机制解决了推理延迟问题，这是当前不少VLA模型仍在优化的关键环节。据官方benchmark数据，其LIBERO 98.7%的成功率在公开同级模型中具有较高竞争力。相比Kairos 3.0-4B偏泛化任务能力、Spirit-v1.5偏低延迟控制、UnifoLM-VLA-0偏长任务规划，Xiaomi-Robotics-0更适合精细双臂操作与工程部署导向场景。。
如何使用Xiaomi-Robotics-0 环境配置与依赖安装： 使用PyTorch 2.8.0 + Transformers 4.57.1配置环境，安装Flash Attention 2.8.3以优化推理性能，例如CUDA 12环境下确保bfloat16支持以降低显存占用。模型加载与初始化： 通过Hugging Face加载Xiaomi-Robotics-0-LIBERO权重，例如调用AutoModel.from_pretrained并启用flash_attention_2实现高效推理。多模态输入构建： 输入多视角图像（base view + wrist view）与语言指令，例如“Pick up red block”，并将proprioceptive state作为机器人状态输入进行融合。动作生成与执行： 模型输出action chunk（如机械臂位移+夹爪状态），通过processor.decode_action转换为控制信号并发送至机器人执行系统。异步执行优化： 配置Δtc > Δtinf参数，使机器人在执行当前动作时并行生成下一动作chunk，实现连续控制流优化。Xiaomi-Robotics-0的局限性 真实机器人数据依赖较高： 模型依赖约200M robot timesteps数据训练，在真实环境泛化能力仍受数据覆盖范围影响，复杂未见场景可能出现动作偏差。计算资源需求较高： 4.7B参数模型在实时推理时仍需GPU支持，消费级设备虽可运行但在高并发任务下可能出现延迟上升问题。真实场景验证有限： 虽然在LIBERO与CALVIN中表现优异，但工业级大规模部署验证数据仍有限，官方主要提供仿真与实验室机器人测试结果。Xiaomi-Robotics-0相关资源 项目官网 ：https://xiaomi-robotics-0.github.io/GitHub仓库 ：https://github.com/XiaomiRobotics/Xiaomi-Robotics-0HuggingFace模型库 ：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-0技术论文 ：https://xiaomi-robotics-0.github.io/assets/paper.pdfXiaomi-Robotics-0的典型应用场景 家庭服务机器人： 输入“整理客厅”指令，系统输出抓取与移动动作序列，实现自动清洁与物品整理，提高家庭自动化效率。工业自动化操作： 输入“分拣零件任务”，机器人通过视觉识别与路径规划完成抓取与分类，提高生产线效率。仓储物流机器人： 输入货物搬运任务，模型生成路径与抓取动作，实现自动化仓储分拣与搬运流程。双臂机器人操作： 输入复杂装配任务如Lego拆解，系统协调双机械臂执行精细操作，提高复杂装配能力。科研与仿真训练： 在CALVIN等仿真环境中训练多步骤任务策略，用于具身智能算法研究与验证。Xiaomi-Robotics-0常见问题 Xiaomi-Robotics-0怎么用？ 通过Hugging Face加载预训练权重并配置Transformers环境使用，输入多视角图像与语言指令后生成机器人动作chunk执行，适用于机器人控制开发与仿真实验场景。
Xiaomi-Robotics-0如何计费？ 目前模型已开源，使用本身不涉及API计费，但运行成本来自GPU算力消耗，部署在消费级显卡或服务器上均需自行承担计算资源成本。
Xiaomi-Robotics-0和Kairos 3.0-4B哪个好？ 据公开benchmark数据，Xiaomi-Robotics-0在LIBERO达到98.7%成功率，并具备异步实时执行优势，更适合精细机器人操作；Kairos 3.0-4B偏泛化任务执行，两者定位不同。
Xiaomi-Robotics-0支持实时控制吗？ 支持异步实时执行机制，通过Δtc与Δtinf设计实现边执行边推理，保证动作连续输出，适用于机器人实时控制任务但依赖硬件性能。
Xiaomi-Robotics-0有免费使用方式吗？ 模型已开源，可通过Hugging Face或GitHub免费获取代码与权重，但实际运行需要GPU资源，因此成本取决于本地或云端算力使用情况。
郑重声明：本站发布内容宗旨在传播更多信息，仅提供查阅，与本站立场无关，不拥有所有权，不承担相关法律责任。不具有任何效益，仅供参考。如果需要专业知识建议，请咨询相关专业人士。如有侵权请联系邮箱。一经查实，立即删除！
