Inkling：我们的开放重量模型

我们的使命是构建扩展人类意志和判断力的人工智能。我们开发了一个平台，任何人都可以自定义模型，预览了为交互式协作而构建的人工智能系统，并发表了新颖的研究成果。今天，我们通过发布一个我们从头开始训练的模型来推进我们的使命，该模型具有可用的全部权重，以便人们可以将其变成自己的模型。

我们的模型称为 Inkling，是一个混合专家转换器，共有 975B 个参数，41B 个活动参数。它支持最多 1M 个令牌的上下文窗口。它使用 45 万亿个文本、图像、音频和视频标记进行了预训练。它是不同大小模型系列中的第一个：除此之外，我们还分享了 Inkling-Small 的预览，这是一个具有 12B 活动参数的轻量级模型，使用类似的方法进行训练，可以以更低的成本和延迟实现强大的性能。

Inkling 通过文本、图像和音频进行本地推理，并通过高效且可控的思维工作来平衡成本与性能。我们将其训练为一个广泛、平衡的基础模型：跨多个领域强大，足够灵活以适应。无论是开放式还是封闭式，Inkling 都不是当今最强的整体模型。相反，多种品质的结合使其成为定制的良好开放权重基础：多模式功能、高效思维以及 Tinker 上可进行微调的可用性。 Inkling 只是一个开始：我们将继续在模型系列中发布第一个版本。

我们希望为更多用例提供定制功能，因此 Inkling 现在可在 Tinker 上进行微调。选择正确的基础模型进行微调是一种定性判断，它将可衡量的基准与模型的独特感觉结合起来。为了实现后者，我们在 Tinker 控制台中添加了 Inkling Playground：一个面向开发人员的界面，用于与 Inkling 聊天。

为了展示定制在实践中的意义，我们要求 Inkling 进行自我微调。该模型使用 Tinker 编写了自己的微调作业，运行它并评估结果：

能力

现实世界的应用需要具有广泛功能的模型，这些功能可以通过微调进行组合和改进。我们展示 Inkling 的功能以及它如何衡量可信度和安全性等重要品质。

通才模式

Inkling 的设计是广泛的。我们对它进行了智能体、推理、编码、指令遵循、事实性、视觉和音频任务方面的训练，而不是狭隘地针对某一领域进行优化。这种广度对于定制和实际使用很重要：不同的用户需要能够适应截然不同的工作流程的模型，而不仅仅是在基准测试上表现出色。

智能体编码和工具使用

微调的坚实基础需要通过智能体工具的使用来灵活地解决各种任务。在大多数智能体基准测试中，Inkling 在开放权重模型中得分很高。

我们训练 Inkling 在各种编码和智能体工具中运行，并在训练期间随机化工具集和模式，以降低对任何特定工具集和模式的敏感性。下一节将介绍 Inkling 的可控思维工作，可以从安全带内进行设置。

以下是一些演示，展示了 Inkling 的智能体编码和工具使用以及它创建的工件。

Inkling 一次性构建了一个功能性网络应用程序，然后为嵌入式人工智能助手提供支持，该助手可以通过自然语言指令操作网络应用程序界面。

Inkling 在 Design Arena 的 Agentic Web Dev 排行榜上进行了评估，其中盲人评估者对生成的 Web 应用程序进行了面对面的比较。它是最强的开放权重模型之一。

Inkling 通过精确的指令遵循、准确的信息以及自始至终具有凝聚力的样式和设计来创建多页工件。

Inkling 作为审阅者，通过 GPT Codex 的 40 次迭代反馈完善了一款在线贪吃蛇游戏。维持长期改进过程并根据反馈进行改进的能力对于创造最佳协作工作至关重要。

可控的思维努力

测试时间扩展和解决问题是每个模型的核心能力，但这种能力很难用一个数字来描述。针对专门任务微调模型的开发人员不仅关心公共基准上的最大努力性能，还关心效率。成本和延迟通常是现实应用程序中的约束因素，尤其是低延迟对于通过迭代实现协作和改进至关重要。

Inkling 支持可控的思维工作，使您能够平衡性能与代币效率。上图显示了 Inkling 以及其他开放权重模型在一系列基准上的工作/性能曲线：用于智能体编码的 Terminal Bench 2.1、用于高级推理的 HLE 以及用于指令跟踪的 IFBench。 Inkling 在 Terminal Bench 上花费了三分之一的代币来实现与 Nemotron 3 Ultra 相同的性能。对于运行数百万次并作为较长工作流程一部分的模型来说，成本和延迟很重要；通过查看完整的成本曲线，开发人员可以为每个用例选择最佳模型。

多模态

Inkling 设计的一个主要目标是作为我们最近推出的交互模型系统中的背景推理模型。交互模型使用户能够实时使用语音和视觉进行自然协作。这需要一个针对广泛的多模式功能进行本地训练的模型。

针对专业全向模型（开放式和封闭式重量）的音频和视觉基准，报告的工作量 = 0.99。

多模态组件是在通用领域数据上从头开始训练的。我们为音频和视觉输入选择了无编码器架构，与交互模型设计一致。音频信号以 dMel 频谱图 dMel：语音标记化变得简单 (Richard He Bai et al, 2024) 的形式输入，而图像则使用四层 hMLP 将图像编码为 40x40 像素的块。关于视觉 Transformer，每个人都应该了解的三件事 (Hugo Touvron et al, 2022)。两者都通过轻量级嵌入层进行转换，并与文本标记联合处理。

Inkling 可以转录语音、遵循口头指令、回答有关录音的问题以及通过较长形式的音频进行推理。这些功能使其成为 VoiceBench、MMAU 和 AudioMC 上最强的开放权重音频模型之一。对于视觉，Inkling 接受图像作为输入，可以描述视觉内容、回答问题，并根据提供的视觉信息进行深入推理。它在图表、图表和数学视觉推理任务上表现出强大的性能。在推理过程中，Inkling 还可以利用 Python 工具通过缩放、裁剪等操作来支持图像理解，同时将视觉推理与基于代码的推理无缝集成。

作为我们的第一个版本，Inkling 为未来的工作奠定了强大的多模式基础。随着我们在后续迭代中扩展模型和训练管道，我们预计其多模式功能将继续改进。

认识论

我们训练 Inkling 进行校准、遵循指令和抵抗审查，我们将其统称为模型的认知。

掌握正确的事实需要的不仅仅是记住大量的知识。一个有用的模型必须经过良好的校准，对其答案表达适当的信心——包括尚未解决的问题。后者是预测和预测的关键能力，这是一个重要的用例，微调模型在最近几个月显示出快速改进，优于前沿大语言模型。

结果是在 2026 年 6 月 30 日至 7 月 13 日期间在 Inkling 与发布的检查点不同的检查点进行测试时获得的。

预测需要将多个信息源集成到校准概率中，这是用户可以信任的模型的核心技能。一个对它给出的每一个答案都充满信心的模型，包括当它缺少信息和混淆时，会迫使用户仔细检查所有内容。提供适当置信度度量的模型在更现实的领域中非常有用，在这些领域中，信息经常是冲突的、不可靠的或难以找到的。我们根据大量已解决的现实问题的语料库，根据正确的评分规则，进行强化学习校准训练。

可信模型的第二个组成部分是指令遵循，包括难以验证的复杂查询。我们使用两个自动分级机进行强化学习：一个标题分级机和索赔分级机。一年级学生根据一份好的答案应包含的内容的清单对每个答案进行评分。原则上，评分标准可以惩罚错误，但在实践中，它们强调回忆，并且可能会被模型攻击，这些模型会喷洒看似相关的事实，希望与评分标准项目相匹配。声明分级员会验证响应中的每个事实声明，并对未通过检查的声明进行处罚。它执行智能体网络搜索以进行索赔验证，而不是仅仅依靠自己的知识。两名评分者一起提高帮助性并同时减少幻觉，而不是用一个人交换另一个人。

这些奖励并不直接针对长格式响应中的校准不确定性，因此我们添加了有针对性的数据集。最大的是带有弃权意识奖励的简短事实问答：只有当模型可能正确时回答才会有回报，因此最佳策略是在自信时回答，否则说“我不知道”或给出对冲的最佳猜测。一些提示鼓励或禁止对冲，教导模型遵循用户对强制猜测与校准非答案的偏好。

最后，我们训练 Inkling 直接回答可能受到审查的话题。 Cognition 在其宣传和审查评估认知团队的《衡量开源衍生模型的可信度》（Measuring the Trustworthiness of Open-Source-Derived Models，2026）中对该模型进行了评估，结果显示出严重的审查不合规模式。

我们对 Inkling 进行了培训，使其了解所有模式的安全模型行为的内部规范。然后我们委托外部安全测试人员验证结果。

我们评估了 Inkling 在多个方面的安全性。对于危险能力——化生放核、网络和失控——我们进行了内部评估并招募了外部测试人员。我们利用内部评估和外部测试人员关注人类人工智能威胁向量，包括阿谀奉承、易受攻击的用户和有害操纵。

Inkling 显示了我们在 FORTRESS 上比较的所有开放权重模型中最强大的内置保护措施，这是一个测试拒绝与武器和暴力相关请求以及良性相似查询的基准。 Inkling 拒绝了更多有害的请求，但没有过度拒绝良性的类似请求。 Inkling 在 StrongREJECT（明确有害请求的拒绝测试）上的得分高于 98%，与其他开放和封闭权重模型一致。

对于开放重量模型来说，安全性至关重要。我们正在继续研究可定制模型中的安全行为和能力提升，包括 Tinker 上的微调如何影响安全行为。

基准暗示

我们根据广泛的功能对 Inkling 进行基准测试。所有评估均在工作量 0.99 和温度 1.0 下运行。所有编码评估均以 256K 最大令牌轨迹限制运行。

为了提高一致性，我们在适用时依赖外部报告的内部和外部模型评估。具体来说，我们使用人工分析报告的分数进行以下评估：Humanity’s Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience、MMMU Pro。

*SWEBench 已验证：使用仅 bash 的工具报告 Inkling 数字。我们对外部模型使用自我报告的数字。*Terminal Bench 2.1：使用内部编码工具报告 Inkling 数字。少数解决方案被发现受到网络搜索的污染，并被赋予 0 分。我们对可用的外部模型使用自我报告的数字。否则，我们使用内部工具报告性能。†Audio MC：其他模型在内部进行评估，因为它们不在官方排行榜上。†VoiceBench：VoiceBench 使用基于规则的硬编码字符串匹配进行评分，使评估对输出格式差异敏感。因此，我们添加了一条系统消息，指示模型遵循预期的答案格式。†CharXiv RQ 使用工具：我们使用内部 Python 工具对 Claude Fable 5 和 GPT 5.6 Sol (max/xhigh) 进行了基准测试。

《Inkling》的制作过程

建筑

Inkling 是一个专家混合的 Transformer，有一些与通用配方不同的地方，每一个都是为了效率和长上下文性能而选择的。

MoE 设计很大程度上遵循 DeepSeek-V3。每个 MoE 层包含 256 个路由专家和 2 个共享专家，每个代币有 6 个活跃的路由专家。 Inkling 使用基于 sigmoid 的路由器，具有辅助无丢失负载平衡偏差。所选路由专家和共享专家的分数被联合标准化并用于加权其组合输出。

为了引起注意，我们将滑动窗口层和全局层以 5:1 的比例与 8 KV 头交错。我们发现，与更广泛采用的旋转位置嵌入（RoPE）相比，使用相对位置嵌入自注意力和相对位置表示（Peter Shaw 等人，2018）音乐转换器（Cheng-Zhi Anna Huang 等人，2018）的编码位置性能更好，并且可以更好地推断到更长的序列。我们还在两个点应用短卷积——在每个注意力层中的键和值投影之后，以及在注意力和 MLP 残差分支输出重新加入主残差流之前。

培训

Inkling 使用来自各种内容类型（包括文本、图像、音频和视频）的 45 万亿个代币进行了预训练。我们使用混合优化策略（针对大矩阵权重的 Muon，针对其他参数的 Adam）以及受我们之前对模流形研究启发的超参数计划来训练 Inkling。我们将权重衰减强度与学习率的平方耦合起来，我们发现这使模型权重的整体大小在整个训练范围内保持稳定。另请参见 Kosson 等人。 (2023) 和德法齐奥 (2025) ..

我们对 Inkling 进行了广泛的数学、智能体代码和工具使用、音频、图像、聊天和安全领域的后期培训。为了引导后训练，我们对开放权重模型（包括 Kimi K2.5）生成的合成数据运行了初始 SFT。引导程序只占计算的一小部分，其中大部分用于合成和人造环境中的大规模强化学习。

Inkling 是我们的第一个主要培训工作，并在 NVIDIA GB300 NVL72 系统上进行了培训。未来的模型将进一步推动训练前、训练后和强化学习的计算规模。

大规模强化学习

我们依靠大规模异步强化学习来塑造模型行为并提高其推理和整体性能。下图显示了模型在 AIME、HLE、GPQA 等推理评估中的总得分。我们将强化学习规模扩大到超过 3000 万次，并在两次长时间连续运行中保持稳定的训练。整个过程中推理性能呈对数线性提升，整体显着提升。

我们通过更改系统消息和调整每个代币的成本来指定模型在不同样本上的工作水平。这导致模型在不同的部署中使用不同数量的代币，并学习控制思维努力的能力。

我们还观察到，在强化学习训练过程中，推理风格发生了突然的转变。随着时间的推移，思路变得更加简洁，减少了语法开销，同时保持了可理解性，并且最终的响应不受影响。这不是奖励的目标——效率本身推动了压缩。认知团队最近在培训 SWE-1.7 的过程中也注意到了类似的效果，认知团队“SWE-1.7：成本的一小部分的前沿情报”。下面的例子展示了 Inkling 在同一数学问题上的思路是如何随着强化学习而演变的：

Inkling-小

除了 Inkling，我们还分享了 Inkling-Small 的预览版，这是一个 276B 参数 Mixture-of-Experts 模型（12B 活跃，而 Inkling 为 41B），具有不同的性能/延迟权衡。 Inkling-Small 在许多基准测试中匹配或超过了其较大的兄弟姐妹 - 这是我们对较小模型的预训练数据和配方进行改进的结果。这两个模型共享应用在顶部的相同可扩展的训练后堆栈。

两个模型的报告努力=0.99；每行中较高的结果会突出显示。 *我们为 Terminal Bench 2.1 的推出分配 0 分，其中解决方案受到网络搜索的污染。

早期结果显示 Inkling-Small 在推理和智能体任务上的表现与 Inkling 接近。凭借 12B 主动参数和可控思维工作，它非常适合成本和延迟很重要的工作负载，例如编码、使用 LLM 进行评分或为其他模型生成合成数据。

我们目前正在完成 Inkling-Small 的测试，一旦工作完成，我们将释放其全部重量。

定制 Inkling

即使是最好的通才模型也无法很好地解决许多现实世界的问题，而通过利用组织的专业知识进行微调可以弥补差距。我们 Tinker 客户的经验也指向了同样的方向。我们的大规模强化学习的后期训练和结果表明，Inkling 能够通过微调快速学习。

可用性暗示

Inkling 现已在 Tinker 上提供，上下文长度选项有 64K 和 256K 令牌。我们在有限时间内以 50% 的折扣提供 Inkling，我们的文档中提供了完整的定价信息。

为了支持 Tinkerers 使用 Inkling 进行微调，我们更新了 Cookbook 以原生支持 Inkling，并添加了三个新的 Cookbook 配方，展示了 Inkling 独特的音频功能。我们还发布了 tml-renderer，用于通过工具调用、推理内容和多模式输入进行可靠采样和后期训练。

要在投入运行之前了解模型，用户可以前往 Tinker 控制台中的 Inkling Playground。 Playground 提供了一个带有集成智能体网络搜索的聊天界面，并且在有限的时间内免费。

我们在整个生态系统中进行合作，帮助客户部署在 Tinker 上微调的检查点。 Inkling 可通过 TogetherAI、Fireworks、Modal、Databricks 和 Baseten 上的 API 使用。我们与 RadixArk 合作，在 SGLang 和 Miles 中提供开源推理和强化学习支持。我们与 Inferact 合作支持 vLLM 中的推理，与 Lightseek 合作支持 TokenSpeed 中的推理，与 Unsloth 合作支持 llama.cpp 中的推理。最后，我们与 Hugging Face 合作与 Transformer 集成。

Inkling 的全部权重都在 Hugging Face 上，既作为原始检查点，又作为 NVFP4 检查点，以在 NVIDIA Blackwell 系统上进行高效推理。