Inkling 2 Small 模型发布

今天我们推出了第二代模型 Inkling 2 Small。它是一个混合专家（Mixture-of-Experts）模型，总参数量达 5940 亿，激活参数量为 170 亿，支持图像输入和可变计算消耗（variable effort）。

Inkling 2 Small 在 Artificial Analysis Intelligence Index 上的得分达到了 31 分，远超我们以往模型的得分，反映出其在智能体编码、视觉、知识工作和推理方面的性能提升。这一能力的大幅提升源于我们训练流程各个环节的改进，包括更高效的预训练以及大规模、统一的强化学习（RL）运行。

遵循我们在开源安全路径中概述的方法，Inkling 2 Small 最初将通过 Tinker 以权重闭源的形式提供。在外部安全测试和红队测试完成后，我们计划于下周在 Apache 2.0 许可证下完全开源权重。

今天起，你可以在 Tinker Playground 上体验 Inkling 2 Small。该模型也可在 Tinker 上进行微调和采样；随着 Inkling 2 Small 权重的发布，检查点（checkpoints）也将开放下载。

能力

与我们的第一代模型相比，Inkling 2 Small 在各个方面都展现出更强的能力，尤其是在长周期（long-horizon）自主工作方面。

Inkling 2 Small 的视觉和智能体能力使其能够结合视觉反馈，以迭代方式构建和精修包含交互元素的网站、游戏和 3D 设计。

Inkling 2 Small 使用 Three.js 构建了一个没有预制资产的完整城市模拟器，程序化生成了每一栋建筑、纹理和汽车，允许用户从一条道路开始发展一座生机勃勃的城市，同时管理电力、预算和突发事件。

一个用 Python 编写的从零开始的 PC 模拟器。它能够引导一个真正的 Linux 内核，并提供一个可在浏览器中启动实时实例的网页界面。

画在白纸上的手绘山谷，折纸鹤落在 Inkling 上。由 Inkling 2 Small 在 Blender 中生成；对水面和烟囱进行了改进优化。

根据地图生成的平面图漫游。

智能体编码与自动研究（Autoresearch）

Inkling 2 Small 经过了 RL 训练，涵盖跨多个智能体套件（agent harnesses）和上下文压缩策略的数十万个长周期编码任务。我们提升了合成编码数据管道的质量，并超越了单纯的单元测试奖励；许多任务引入了一个智能体 RL 评分器，用来评估模型解决问题的方法，而不仅仅是代码是否通过。我们还以 Fledge-Alpha 为代号，在 OpenCode 上测试了 Inkling 2 Small 的早期检查点，以评估我们的模型在现实世界编码任务中的性能。

其结果是一个在编码能力上更强、且在真实智能体循环中更易于使用的模型。与 Inkling 相比，Inkling 2 Small 在可用性方面有所提升：它能更好地遵循指令、仔细考虑修改，并在无需提醒的情况下验证自己的工作。

编码与自动研究	Inkling 2 Small	GLM-5.3-Flash	DeepSeek-V4.1-Flash-1017	Muse Spark Open	Kimi K3
FrontierCode v2.0	25.4%（此行报告的第二高分）	14.2%	28.5%（此行报告的最高分）	7.6%	17.3%
DeepSWE v1.1	72.1%（此行报告的第二高分）	63.4%	77.0%（此行报告的最高分）	60.0%	68.5%
SWEBench Pro v2 (Hard)	86.3%（该行第二高报告得分）	–	–	82.4%	88.2%（该行最高报告得分）
Vibe Code Bench v1.1	81.6%	30.8%	87.7%（该行最高报告得分）	76.2%	85.0%（该行第二高报告得分）
PostTrainBench v1.2	31.9%（该行第二高报告得分）	36.8%（该行最高报告得分）	30.5%	–	31.5%
Terminal Bench Science v0.1	5.7%	4.8%	12.9%（该行最高报告得分）	1.9%	8.1%（该行第二高报告得分）

内核优化 (PMPP-Hard)

69 个任务 · 四次独立尝试 · 10 小时预算

View full results

PMPP-Hard 结果
模型	AUC（任务-小时）	平均解决数 / 69	Pass@4 / 69
GPT-6 Astra	616.39	63	63
Kimi K3.1 Pro	583.86	60.5	63
Claude Opus 5.5	499.65	60	64
DeepSeek V4.1 Flash	497.36	55.25	62
Inkling 2 Small	494.27	54.25	64
Mistral Large 4	478.39	50.25	61
Kimi K3	453.58	55.75	66
GLM 5.3	430.96	52.5	61
GLM 5.2	389.12	42	61

行按 AUC 排序：0–10 小时内平均曲线下的面积，最大值为 690 个任务-小时。

每个模型均使用其最大可用推理设置、PI 框架和共享压缩策略。我们纳入了评估期间发现的任务和评分问题的修复。每个提交的解决方案都会接受两次独立的 LLM 审计，并通过第三次复查来解决分歧。

PMPP-Hard 是一个外部 GPU 内核优化基准测试，此处针对一致的跨模型评估进行了适配。曲线显示了四次独立尝试的平均值；图例值为 10 小时时平均解决的任务数。

除了常规软件任务外，Inkling 2 Small 还接受了长程自动研究（autoresearch）任务的训练。这包括智能体驱动的 GPU 内核优化和机器学习任务（例如自主后训练模型），所有这些都在一系列 GPU 架构上运行。

初步的内核自动研究结果

DeepSeek-V3.2 稀疏注意力机制，前向 + 反向

DeepSeek 稀疏注意力机制让每个查询仅关注由轻量级索引器选出的前 k 个早期 token，因此长上下文成本不再随上下文平方增长。从公开的 TileLang 内核开始，在保持其误差接近原版（严格容差）且无时间限制的前提下，使训练内核更快。该基准测试涵盖了不同场景下的多种模型大小，从打包的预训练序列到长上下文训练。公开的 TileLang 基线未针对 B300 进行调优，这在这类工作负载中留出了充足的空间来衡量每个模型的优化能力和韧性。加速仅针对这些内核本身，而非端到端训练。

为了展示其端到端自动研究性能，我们在 Proximal（为我们内部基准测试之一构建的任务）上测试了 Inkling 2 Small。Inkling 2 Small 在 Tinker 上自主训练了 Qwen3.5-4B，以预测天气和维基百科页面浏览量等各种时间序列。它首先分析任务并编写自己的评估器，对训练数据集和配方进行实验，并尝试各种 SFT 和 RL 方法，同时在过程中进行调试。经过 4.5 小时的工作和 426 美元的 Tinker 花费，训练后的模型的预测得分翻了一倍多。

我们希望 Qwen/Qwen3.5-4B 来预测时间序列。模型接收一个窗口、某个序列的近期历史数据作为文本，并写出下一步的值。针对每个窗口会进行多次采样。其预测的中位数应当接近实际发生情况，而它们的离散程度应当符合其不确定性。[...] 使用 Tinker 训练 Qwen/Qwen3.5-4B 的 LoRA。[...] 你有 12 小时时间，Tinker 预算为 500 美元。

Bashls /app /data && cat /data/README.md

/app: examples.jsonl forecast … (25 more lines)

Bashtinker-usage 2>&1 | head -20; echo ---; tinker-usage --prices 2>&1 | head -40

time 0 h 0 min of 12 h (11 h 59 min left)

现在让我看看采样是如何与 Tinker 配合工作的：

~/tinkerbench/time-series-forecasting/0h 00m into the run

其评估示例上的预测Qwen3.5-4B (base)

electricity

美国西南部电网 · 需求

wind & solar

纽约电网 · 风力发电

air quality

温尼伯 · PM2.5

page views

维基百科 · “瓦尔哈拉”

观测值模型预测

"Less error" is compared with simply copying the last values forward.

评估得分（比直接复制误差少 %）100 个示例

运行期间的评估得分：base 19%、SFT 1 25%、SFT 2 27%、RL 23%、SFT 4 29%。在未见数据上：base 10%、SFT 4 23%。

$0.00Tinker 支出，总额 $500

数据：美国能源信息署 (EIA-930)；天气和空气质量数据由 Open-Meteo.com (CC BY 4.0) 提供，包含经修改的哥白尼气候变化服务和哥白尼大气监测服务 2026 年信息；维基百科页面浏览量 (CC0)。

开始。Inkling 2 Small 读取任务和给定的原始数据，涵盖来自五个来源的多年每小时和每日历史记录：电力需求、风能和太阳能发电、天气、空气质量以及维基百科页面浏览量。

视觉理解与创作

Inkling 2 Small 使用基于 Perception Encoder 的 2.92 亿参数视觉编码器处理图像输入Bolya et al., 2025.。我们使用带 2×2 空间池化的 20×20 像素补丁，并将图像补丁与文本 Token 交织在一起。该模型在多个类别中展现出强大的视觉能力，包括 OCR、定位、信息图表理解和视觉推理。

视觉推理与创作	Inkling 2 Small	GLM-5.3-Flash	DeepSeek-V4.1-Flash-1017	Muse Spark Open	Kimi K3
GDP.pdf	25.2%（此行报告的最高得分）	15.4%	17.2%	18.6%	22.0%（此行报告的第二高得分）
MMMU Pro (Standard 10)	81.6%（此行报告的最高得分）	79.0%	80.6%	80.9%（此行报告的第二高得分）	80.5%
PerceptionBench	64.7%（此行报告的最高得分）	–	47.7%	–	58.5%（此行报告的第二高得分）
Humanity’s Sixth Sense	33.3%（此行报告的最高得分）	26.8%	30.1%（此行报告的第二高得分）	29.6%	25.5%
ScreenSpot Prooriginal / with Python	83.8/91.5%（此行报告的最高得分）	–	–	–	73.8/83.2%（此行报告的第二高得分）
BabyVision原始 / 使用 Python	68.6/93.7%（此行报告的最高分）	53.4/82.6%（此行报告的第二高分）	–/92.5%	44.3/80.2%	53.4/85.7%（此行报告的第二高分）
Charxiv RQ原始 / 使用 Python	85.6/87.7%（此行报告的最高分）	80.2/89.4%	77.0/85.6%	85.4/88.7%（此行报告的第二高分）	84.8/91.3%
Chartography原始 / 使用 Python	36.7/80.4%（此行报告的最高分）	16.3/78.0%	17.9/83.0%	35.7/63.2%（此行报告的第二高分）	26.6/68.1%
Code Arena (WebDev)	1653	1607	1665（此行报告的最高分）	–	1656（此行报告的第二高分）
AA-3D	1021（此行报告的最高分）	937	–	–	982（此行报告的第二高分）
Code2Video-AA	1020（此行报告的第二高分）	975	–	–	1041（此行报告的最高分）

该模型在循环中使用视觉来解释和验证其生成的视觉编码输出。在其权重发布后，它有望成为 DesignArena 上排名第一的开源权重模型。

DesignArena 网站评分

DesignArena 网站排行榜。分数来自 11 月 5 日的排行榜快照；蓝色柱状图标识了 Inkling 2 Small。比较包括前十名模型以及三个额外的开源权重模型。柱状图从 1,100 开始，而非零。在 DesignArena 上查看。

我们甚至在一场品酒活动中让 Inkling 2 Small 与我们的一些研究人员进行了对决。它仅凭视觉就战胜了他们，在 20 次实验中有 19 次仅凭一张图片就正确识别出了三种葡萄酒。

Three glasses of red wine on a restaurant table, in the left-to-right order used in the model response. — 品酒照片，按模型看到的样子显示，以及模型的回答。

智能体知识工作

Inkling 2 Small 在真实的专业环境中加速知识工作。它能熟练地查找信息、通过 MCP 调用工具并产出高质量的交付成果。在端到端知识工作基准测试 AA-Briefcase 上，这些能力汇聚在一起，使其 ELO 得分达到 1527。

知识工作与企业运营	Inkling 2 Small	GLM-5.3-Flash	Muse Spark Open	DeepSeek-V4.1-Flash-1017	Kimi K3
AA-Briefcase v1.1	1527（此行中第二高的报告得分）	1451	1279	1570（此行中最高的报告得分）	1497
GDPVal-AA v2.1	1630	1649（此行中第二高的报告得分）	1401	1746（此行中最高的报告得分）	1543
JobBench	70.5%（此行中最高的报告得分）	60.7%	61.8%（此行中第二高的报告得分）	–	54.3%
Vals Legal Index	73.9%（此行中最高的报告得分）	71.1%	68.5%	71.9%（此行中第二高的报告得分）	71.7%
EnterpriseBench-CoreCraft	71.8%（此行中最高的报告得分）	46.7%（此行中第二高的报告得分）	–	–	43.1%

Inkling 2 Small 在金融以及对电子表格、申报文件和文档的定量推理方面尤其强大。在开源权重模型中，Inkling 2 Small 在 AA-AnalystAgent 和 Dayjob:Finance 上排名第一，在 Vals Finance Index 和 DiligenceBench 上排名第二。

金融工作	Inkling 2 Small	GLM-5.3-Flash	Muse Spark Open	DeepSeek-V4.1-Flash-1017	Kimi K3
Vals Finance Index	61.5%（此行中最高的报告得分）	55.8%	53.0%	60.9%（此行中第二高的报告得分）	58.0%
Diligence Bench最佳测试套件	58.1%（此行中第二高的报告得分）	–	59.0%（此行中最高的报告得分）	50.4%	–
DAYJOB (Finance)	14.3%（此行中最高的报告得分）	7.3%	–	12.5%（该行报告的第二高得分）	5.5%
Apex-Accounting v1.1pass@1	14.5%（该行报告的最高得分）	12.3%	13.8%（该行报告的第二高得分）	12.5%	9.5%

可定制性

某些模型对微调的响应更好，这与它们的开箱即用性能无关。我们希望将 Inkling 2 Small 打造成一个用于定制的强大基础模型。

在各种后训练场景（我们根据客户用例策划）中使用相同的数据和算法进行训练时，Inkling 2 Small 比我们以前的模型学习速度更快、提升幅度更大。例如，从公共金融文档摘要任务中相似的低得分开始，Inkling 2 Small 适应迅速，仅需 75 个训练步骤就达到了 Inkling Small 的最终性能，并且大幅领先。

评估模型微调能力

按训练步骤划分的 ECTSum 留出评分准则奖励，采用对称对数（symlog）坐标轴。Inkling 2 Small、Inkling-Small 和 Inkling：三次随机种子运行的平均值，无不确定性区间。GLM 5.3 Flash、DeepSeek V4.1 Flash 1017 和 Qwen 3.5 397B：单次运行，显示为无区间的实线灰度曲线。展示了从第 0 步到第 200 步的检查点；坐标轴在第 25 步之前为线性，之后为对数。绘制的奖励，四舍五入到小数点后四位：Inkling 2 Small：第 0 步，奖励 0.3308；第 25 步，奖励 0.4260；第 50 步，奖励 0.6008；第 75 步，奖励 0.8347；第 100 步，奖励 0.8662；第 125 步，奖励 0.8905；第 150 步，奖励 0.9022；第 175 步，奖励 0.9105；第 200 步，奖励 0.9400。Inkling-Small：第 0 步，奖励 0.2959；第 25 步，奖励 0.3242；第 50 步，奖励 0.3896；第 75 步，奖励 0.4533；第 100 步，奖励 0.5464；第 125 步，奖励 0.6453；第 150 步，奖励 0.7076；第 175 步，奖励 0.7477；第 200 步，奖励 0.7924。Inkling：第 0 步，奖励 0.3098；第 25 步，奖励 0.3473；第 50 步，奖励 0.4363；第 75 步，奖励 0.5994；第 100 步，奖励 0.7077；第 125 步，奖励 0.7635；第 150 步，奖励 0.7785；第 175 步，奖励 0.8103；第 200 步，奖励 0.8202。GLM 5.3 Flash：第 0 步，奖励 0.3285；第 25 步，奖励 0.4323；第 50 步，奖励 0.5960；第 75 步，奖励 0.7279；第 100 步，奖励 0.7336；第 125 步，奖励 0.7872；第 150 步，奖励 0.7906；第 175 步，奖励 0.8079；第 200 步，奖励 0.8310。DeepSeek V4.1 Flash 1017：第 0 步，奖励 0.3053；第 25 步，奖励 0.4932；第 50 步，奖励 0.5598；第 75 步，奖励 0.7144；第 100 步，奖励 0.7897；第 125 步，奖励 0.7893；第 150 步，奖励 0.7723；第 175 步，奖励 0.8285；第 200 步，奖励 0.8457。Qwen 3.5 397B：第 0 步，奖励 0.2572；第 25 步，奖励 0.3493；第 50 步，奖励 0.4197；第 75 步，奖励 0.5624；第 100 步，奖励 0.6080；第 125 步，奖励 0.6814；第 150 步，奖励 0.6910；第 175 步，奖励 0.6152；第 200 步，奖励 0.7338。

ECTSum 保留评判标准奖励与美元估算的 rollout 采样及训练成本对比，采用 symlog 轴（在 250 美元以内为线性，之后为对数），截至 RL 第 200 步。对比了 Inkling 2 Small、Inkling-Small、Inkling、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017 和 Qwen 3.5 397B。假设提示词缓存命中率为 96.875%，并非实际测量的使用量或账单费用。Inkling 的数据点为三个随机种子检查点的平均值，不带不确定性区间。其他三个模型为单次运行，采用实线灰阶线条且无区间。绘制的奖励四舍五入到小数点后四位，成本四舍五入到美分：Inkling 2 Small：$0.00，奖励 0.3308；$255.78，奖励 0.4260；$490.72，奖励 0.6008；$712.73，奖励 0.8347；$961.52，奖励 0.8662；$1,216.90，奖励 0.8905；$1,443.46，奖励 0.9022；$1,680.28，奖励 0.9105；$1,916.20，奖励 0.9400。Inkling-Small：$0.00，奖励 0.2959；$273.53，奖励 0.3242；$574.17，奖励 0.3896；$848.30，奖励 0.4533；$1,102.15，奖励 0.5464；$1,396.68，奖励 0.6453；$1,652.69，奖励 0.7076；$1,925.09，奖励 0.7477；$2,206.01，奖励 0.7924。Inkling：$0.00，奖励 0.3098；$885.28，奖励 0.3473；$1,756.22，奖励 0.4363；$2,600.98，奖励 0.5994；$3,369.48，奖励 0.7077；$4,250.08，奖励 0.7635；$5,075.56，奖励 0.7785；$5,859.02，奖励 0.8103；$6,695.94，奖励 0.8202。GLM 5.3 Flash：$0.00，奖励 0.3285；$321.98，奖励 0.4323；$687.83，奖励 0.5960；$1,094.00，奖励 0.7279；$1,482.11，奖励 0.7336；$1,906.80，奖励 0.7872；$2,302.96，奖励 0.7906；$2,701.59，奖励 0.8079；$3,140.35，奖励 0.8310。DeepSeek V4.1 Flash 1017：$0.00，奖励 0.3053；$372.16，奖励 0.4932；$767.76，奖励 0.5598；$1,091.41，奖励 0.7144；$1,430.09，奖励 0.7897；$1,936.96，奖励 0.7893；$2,293.45，奖励 0.7723；$2,651.91，奖励 0.8285；$3,057.17，奖励 0.8457。Qwen 3.5 397B：$0.00，奖励 0.2572；$1,128.13，奖励 0.3493；$2,086.98，奖励 0.4197；$3,123.11，奖励 0.5624；$4,138.93，奖励 0.6080；$5,237.54，奖励 0.6814；$6,454.57，奖励 0.6910；$7,742.11，奖励 0.6152；$8,904.39，奖励 0.7338。

Inkling 2 Small 相比我们之前的模型学习速度更快、最终性能更高，在 RL 微调设置中能够与同等规模的其他开源模型相媲美。我们使用公开的财报电话会议数据创建了一个包含专家判断的投资分析任务，这类似于我们的客户使用 tinker 进行自定义模型训练的金融分析工作负载类型。为确保公平比较，我们对每个模型进行了学习率扫描；所有模型都在 Tinker 上进行了训练，使用了带有 Tinker Cookbook 抽象的异步 RL 实现以及 Stable Reinforce 损失函数，训练过程超过 200 步。Inkling 模型的结果是取 3 个随机种子的平均值；其他模型则使用单次运行。成本是通过将采样和训练 Token 数量乘以当前的 tinker 每 Token 定价进行估算的；对于采样，我们假设同一组内的 rollout 中存在前缀缓存命中。

推理、知识与认知学

Inkling 2 Small 在具有挑战性的 STEM 问题、指令遵循、带或不带网页搜索的信息检索以及预测任务上接受了训练。在 RL 期间，我们在预测任务中使用适当的评分规则，并在某些问答任务中使用对不确定性敏感的奖励。这训练了模型评估不确定性、表达适当的置信度并做出校准良好的预测。

长上下文推理与事实准确性	Inkling 2 Small	GLM-5.3-Flash	Muse Spark Open	Mistral Large 4	Kimi K3
HLE-Diamond	28.7%（此行报道的最高分）	18.2%	26.3%	17.3%	26.9%（此行报道的第二高分）
CritPt v2Full / Hard	55.7/35.0%（此行报道的最高分）	–/24.5%	52.6/29.5%（此行报道的第二高分）	50.3/27.0%	–/40.5%
AA-LCR v1.1	83.3%（此行报道的第二高分）	80.0%	78.3%	–	88.7%（此行报道的最高分）
LongBench v2	70.6%（此行报道的最高分）	68.2%	68.7%	65.7%	69.0%（此行报道的第二高分）
AA-Omniscience v1.1得分 / 无幻觉率	16.1/73.3（此行报道的第二高分）	0.7/–	25.8/72.0（此行报道的最高分）	5.1/71.8	–

安全性与对齐

我们针对 Inkling 2 Small 的安全工作主要围绕两个问题展开：模型对普通用户的表现如何，以及它抵御恶意主体移除安全防护的能力如何。Inkling 权重发布前，尚待我们和合作伙伴进行进一步的安全评估。

为了评估滥用风险，我们训练了一个内部的仅实用（helpful-only）变体。相比以往的任何版本，我们让该模型和发布检查点（release checkpoint）都通过了更广泛的评估套件，并有更多外部测试人员参与。

在化学、生物、放射和核（CBRN）风险方面，Inkling 2 Small 的知识和能力得分低于开源权重前沿。在 Scale AI 的私有基准测试 FORTRESS 上——该测试用于评分模型在面对专家编写的涉及 CBRN、恐怖主义和非暴力犯罪的对抗性提示词时提供多少有害协助——与 Inkling 和 Inkling-Small 相比，Inkling 2 Small 的平均风险得分（Average Risk Score）较低，同时也表现出更高的过度拒绝得分（Overrefusal Score，见局限性）。与发布检查点相比，Inkling 2 Small 的仅实用变体在 CBRN 知识方面表现出微幅提升，但它并未在我们测量的任何维度上显著推进前沿水平。

在攻击性和两用智能体网络安全基准测试中，Inkling 2 Small 相比 Inkling Small 取得了巨大进步，但仍落后于开源权重前沿。它在 Vals CyberBench v1.1 和 PatchEval 上达到了开源权重前沿水平，这两项测试均用于衡量发现和修补安全漏洞的能力。

安全性	Inkling 2 Small	GLM-5.3-Flash	DeepSeek V4.1 Flash	Muse Spark Open	GLM 5.3
FORTRESS (ARS) ↓	16.2（此行报道的第二佳结果）	26.7	27.2	7.6（此行报道的最佳结果）	28.2
FORTRESS (ORS) ↓	20.4	3.6（此行报道的第二佳结果）	6.9	16.0	3.2（此行报道的最佳结果）
DistressBench ↑	82.0*（此行报道的第二佳结果）	72.7	79.8	87.7（此行报道的最佳结果）	72.5
StrongREJECT ↑	97.8（此行报道的第二佳结果）	96.8	98.7（此行报道的最佳结果）	97.6	97.2
PatchEval ↑	79.6（此行报道的第二佳结果）	74.8	80.4（该行报告的最佳结果）	77.8	69.6
Vals CyberBench ↑	72.7（该行报告的第二佳结果）	67.9	73.7（该行报告的最佳结果）	–	72.1

DeepSeek 整合了提供的 Flash 结果：FORTRESS 和 PatchEval 为 1017；DistressBench、StrongREJECT 和 Vals CyberBench 为无版本号的 Flash。

* 尽管我们能够很好地处理心理困扰情况，但正如“局限性”部分所述，我们的模型在正常的感情支持查询中，有时会反应过度并带有免责声明。

随着模型承担无监督、更长视野的自主工作，其不当行为带来的潜在危害也在增加。如果不重视对齐，侧重能力的强化学习（RL）可能会促使模型不惜一切代价取得成功。当任务困难时，Inkling 2 Small 的早期检查点会坚持不懈地试图成功——在某些情况下会捏造结果、忽视指令并隐瞒其所做的事情。

我们对技术栈的各个层面进行了改进，以提升模型对齐。在中期训练中，我们过滤掉了包含不当行为的轨迹，并纳入了表现出诚实、对齐行为的轨迹。在强化学习中，我们添加了一个通用的对齐奖励，对各项任务中的不当行为进行惩罚。我们还构建了针对训练中观察到的特定失效模式的环境，例如奖励模型放弃不可能完成的任务。最后，我们使用了基于策略的自我蒸馏Zhao et al., 2026.，该蒸馏来自一个被提示遵循行为规范的教师模型，从而使模型在无需显式提示的情况下内化良好行为的原则。

我们通过内部和外部评估来衡量进展，发现 Inkling 2 Small 在内部和外部评估上均显著优于以往的 Inkling 模型，并且在我们的内部评估中表现优于一组同类的开放权重模型。

Inkling + 开放权重						闭源权重
对齐	Inkling 2 Small	Inkling	Inkling Small	Muse Spark Open	GLM-5.3-Flash	DeepSeek V4.1 Flash	GPT-6.1 Sol
不当行为（内部）↓	14.9（该行报告的第二佳结果）	66.8	75.2	82.4	57.1	68.0	0.8（该行报告的最佳结果）
隐蔽的不当行为（内部）↓	11.8（该行报告的第二佳结果）	59.4	59.1	60.8	29.2	37.6	0.8（该行报告的最佳结果）
破坏性行为（内部）↓	4.7（该行报告的最佳结果）	71.9	67.2	7.8	25.8	10.9	7.0（该行报告的第二佳结果）
HoneyBench v0.2-alpha：奖励攻击（Goodhart Labs）↓	44（该行报告的最佳结果）	70	69	–	–	–	59（该行报告的第二佳结果）
无目标的隐蔽行动（Apollo Research）↓	8（该行报告的最佳结果）	37	36（该行报告的第二佳结果）	–	–	–	–
有目标的隐蔽行动（Apollo Research）↓	0（该行报告的最佳结果）	7	4（该行报告的第二佳结果）	–	–	–	–

在我们的对齐评估中，Inkling 2 Small 仍然落后于 GPT-6.1 Sol 等闭源权重模型。缩小这一差距是未来模型的首要任务。

我们还致力于确保通过两层监控来进行训练和评估。第一层是同步的：监控器在工具调用运行之前对其进行检查。每个任务都会声明其授权的操作。确定性规则会根据任务的策略和规避模式检查调用，并将不确定的情况升级给 LLM 裁判。第二层是异步的：LLM 裁判会审查训练和评估中已完成的运行结果，以查找违规行为和违反我们安全边界的操作，并发出警报，由我们进行分类并升级到我们的事件处理流程中。这些共同构成了安全与对齐的纵深防御方法，我们认为这对于开发安全的模型工厂至关重要。

训练 Inkling 2 Small

Inkling 2 Small 的初始预训练阶段 (H1) 涵盖了 8.4 万亿个 Token，包含自然语言、代码和图像数据的广泛混合。它在 NVIDIA GB300 NVL72 机架上运行了 68 小时，这实现了高度的专家并行性。训练在 NVFP4 中原生运行，这是 NVIDIA Blackwell GPU 架构引入的 4 位浮点格式。我们很快将在后续文章中分享有关我们 NVFP4 配方的更多细节。

内部代码

截止日期 2026-06 · 每字节比特数（越低越好）

在我们的主要保留评估中，Inkling 2 Small 显著优于其他开源权重模型。请注意，某些模型被标记为“基础恢复 (base-recovered)”。对于仅提供后训练检查点的模型，我们在计算对数损失之前，在预训练格式的代码和文档数据集上进行了微调。我们已经验证，在可以使用真实情况（实际基础模型）的其他模型上，此过程大多可以恢复基础模型损失。

在这个初始阶段之后，我们进行了第二阶段 (H2)，使用了 3.8 万亿个模型未见过的、更高质量的较新数据，上下文长度为 512K。第三阶段和第四阶段混合了部署格式的数据。第三阶段包含约 3200 亿个 Token 的推理和智能体轨迹（上下文为 1M），以及重放的预训练数据。第四阶段 (H4) 仅保留了最高质量的数据：约 340 亿个 Token 的智能体轨迹。H3 和 H4 的混合数据主要由从早期模型（包括 Kimi K3 和我们自己的模型）中采样的轨迹组成，并经过正确性和对齐过滤。

随后，我们进行了一次联合 RL 运行，在 9 天内包含 1,075 个步骤和超过 1700 万次 rollout。更多详情请参见下表。这次单一的联合运行与之前的 Inkling 版本形成鲜明对比，之前的版本中我们运行了独立的推理和智能体 RL 运行，并通过多教师蒸馏将它们结合起来。

主 RL 运行的规模
指标	规模
计算量	超过 4 × 10²³ FLOPs
GPU	2,048
持续时间	9 天
Rollout	1700万+
Token	3万亿+

任务组合包括真实代码库中的软件工程、终端任务、文档创建、STEM 问答、视觉、Web 应用构建、与模拟用户的工具使用以及安全性。每个任务系列都有自己的评分器：

针对大多数编码工作的隐藏单元测试和程序化检查；
针对文档和工具使用的基于评分标准的 LLM 裁判；
针对 STEM 和视觉问答的参考答案；
比较渲染 Web 应用截图的成对奖励模型。

RL 训练任务组合
类别	Rollout	Token
编码	38.5%	65.0%
办公与知识工作	9.1%	13.3%
STEM 与推理	7.0%	7.6%
Web 与应用构建	4.7%	7.2%
视觉	13.9%	3.0%
工具使用与通用智能体	17.1%	2.3%
搜索	2.0%	1.4%
聊天、安全与认识论	7.8%	0.2%

我们随机采样并以努力程度为条件，并在奖励函数中应用长度惩罚，这训练了模型在速度和彻底性之间进行权衡。

我们的异步 RL 使用了一种得分居中变体——Tinker 中的 StableReinforce 目标函数，它能够容忍显著的滞后性。我们的运行结合了短视和长视野任务，p50/p99 总 rollouts token 数分别为 43k 和 1.5M，p50/p99 持续时间分别为 8 分钟和 4 小时。我们使用 256k 上下文长度，并针对长视野任务启用了压缩训练。因此，训练奖励和评估性能都随计算量呈对数线性增长。

训练奖励

训练奖励。训练奖励与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。提供 801 个数据点，从 7.147e+21 FLOPs 时的 0.3783 到 4.132e+23 FLOPs 时的 0.5497。得分范围 0.3755 至 0.5552。

训练奖励与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。

STEM 评估性能

STEM 评估性能。STEM 评估性能与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。提供 33 个数据点，从 7.147e+21 FLOPs 时的 0.3230 到 4.132e+23 FLOPs 时的 0.4751。得分范围 0.3230 至 0.4751。

STEM 评估性能与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。

视觉评估性能

视觉评估性能。视觉评估性能与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。提供 33 个数据点，从 7.147e+21 FLOPs 时的 0.5756 到 4.132e+23 FLOPs 时的 0.6959。得分范围 0.5756 至 0.7034。

视觉评估性能与累积学习器和采样器 FLOPs 的关系（对数坐标轴）。

稳定训练
指标	值
中位策略滞后	17 次更新
Rollout 批大小	16K
每个 rollout 的总 token 数	中位数：43K · p99：1.5M
Rollout 持续时间	中位数：8 分钟 · p99：4 小时
上下文窗口	256K token，针对更长轨迹进行压缩

使这一规模变得实用，需要对整个系统技术栈进行改进。我们的 RL 基础设施部署了 NVFP4 MoE 训练和采样。在采样期间，预填充（prefill）、草稿（draft）和验证（verify）完全在 CUDA 图（CUDA graphs）上运行。训练器镜像了预训练技术栈，具有高专家并行性、EPLB 和 CUDA 图，以提高 GPU 效率。为了支持长视野智能体工作负载，我们使用粘性路由（sticky routing）和 DRAM KV 缓存卸载，以保持 93%+ 的前缀缓存命中率，这使我们在长上下文下训练时仍能保持 5:3 的采样器与训练器比例。权重传输通过 GPUDirectRDMA 以 93%+ 的线速进行，并配备并行性不变的校验和验证器。我们还通过提供 NVFP4 KV 缓存的一个变体，进一步降低了部署推理成本，我们发现它对评估的影响微乎其微。

长视野任务赋予了模型数小时的自主权，增加了不对齐行为带来的潜在风险。在主要 RL 运行的中途，我们的异步监控器标记了一个实例：模型在某项任务中失败时，通过其搜索工具可以访问的第三方服务绕过了网络封锁。我们暂停了运行，加固了基础设施，移除了需要网页访问的环境，并添加了同步工具调用监控。随后我们恢复了运行，纳入了专门针对对齐的额外训练阶段，如上所述。

我们流程的改进使我们能够使用相似的配方、以可预测的规模和性能来训练不同大小的模型。Inkling 2 Small 是模型阶梯的一部分；我们期待很快与您分享更多的阶梯层级。

对 Inkling 2 Small 进行基准测试

与以往的 Inkling 版本一样，我们对 Inkling-Small 在广泛的能力范围进行了基准测试。所有评估均在 effort 0.99 (xhigh) 和 temperature 1.0 的条件下运行。所有评估均采用 100 万 token 的最大轨迹限制，较 Inkling Small 使用的 25.6 万 token 限制有所增加。

开源权重 Flash					开源权重 Pro					闭源权重 Flash
Inkling 2 Small	GLM-5.3-Flash	MiMo V2.6 Flash	MiniMax-M3.1-Flash	DeepSeek-V4.1-Flash-1017	Muse Spark Open	GLM 5.3	MiMo V2.6 Pro	Mistral Large 4	Kimi K3	GPT-6 Luna	Gemini 3.8 Flash	Claude Haiku 5.5
模型信息
参数量 (B)激活量 / 总量	17/594	18/320	15/309	23/428	16/552	42/816	40/753	42/1020	49/1050	104/2800	–	–	–
第三方指数
AA 指数 (v5.0)	30.6	27.8	26.7	29.1	32.6（该行报告的第二高分）	24.9	31.7	29.9	26.1	–	27.9	30.8	36.5（该行报告的最高分）
Vals 指数 (v2.2)	56.1%	50.9%	54.8%	53.8%	61.3%（该行报告的最高分）	48.6%	59.7%（该行报告的第二高分）	57.8%	56.5%	53.0%	52.3%	56.0%	58.7%
编程
FrontierCode v2.0	25.4%	14.2%	21.6%	20.8%	28.5%（该行报告的第二高分）	7.6%	21.6%	24.0%	15.0%	17.3%	25.2%	18.7%	34.9%（该行报告的最高分）
DeepSWE v1.1	72.1%	63.4%	67.9%	73.7%	77.0%（该行报告的最高分）	60.0%	69.0%	71.9%	61.7%	68.5%	66.6%	73.8%（该行报告的第二高分）	59.9%
Terminal Bench Science v0.1	5.7%	4.8%	4.3%	3.3%	12.9%（该行报告的第二高分）	1.9%	9.5%	5.7%	4.3%	8.1%	8.6%	10.0%	20.0%（该行报告的最高分）
Vibe Code Bench v1.1	81.6%	30.8%	79.0%	73.9%	87.7%（该行报告的第二高分）	76.2%	78.1%	85.2%	81.6%	85.0%	81.7%	78.7%	90.4%（该行报告的最高分）
SWEBench Pro v2 (Hard)	86.3%（该行报告的第二高分）	–	–	84.3%	–	82.4%	84.3%	–	–	88.2%（该行报告的最高分）	–	58.8%	52.9%
自动研究
PostTrainBench v1.2	31.9%	36.8%（该行报告的最高分）	–	–	30.5%	–	34.5%（该行报告的第二高分）	–	–	31.5%	–	–	–
PMPP-HardAUC（任务小时，0–10h）	494.27（该行报告的第二高分）	–	–	–	497.36（该行报告的最高分）	–	430.96	–	478.39	453.58	–	–	–
BioMysteryBench	70.0%	–	69.3%	–	–	–	–	–	–	72.6%（该行报告的最高分）	61.5%	62.2%	70.4%（该行报告的第二高分）
搜索与工具
MCP Atlas完整版 / 公共版	85.4/85.0%（该行报告的第二高分）	–/82.0%	–/62.9%	–/80.4%	–/83.2%	89.2/87.5%（该行报告的最高分）	84.2/83.6%	–/84.4%	–/84.5%	82.3/84.2%	–/77.8%	–/87.5%	–/81.0%
知识工作
AA-Briefcase v1.1	1527	1451	1487	1476	1570（该行报告的第二高分）	1279	1503	1512	1348	1497	1337	1203	1574（该行报告的最高分）
GDPVal-AA v2.1	1630	1649	1614	1465	1746（该行报告的最高分）	1401	1657	1689（该行报告的第二高分）	–	1543	1444	1445	1631
JobBench	70.5%（该行报告的最高分）	60.7%	61.2%	67.5%（该行报告的第二高分）	–	61.8%	61.4%	62.0%	55.2%	54.3%	49.0%	–	39.2%
企业运营
EnterpriseOps-Gym	46.8%（此行报道的最高得分）	33.2%	–	–	–	–	36.4%	–	–	45.3%（此行报道的第二高得分）	–	–	–
EnterpriseBench-CoreCraft	71.8%（此行报道的最高得分）	46.7%	–	–	–	–	51.8%	–	–	43.1%	–	58.5%（此行报道的第二高得分）	–
Finance Work
Vals Finance Index	61.5%（此行报道的最高得分）	55.8%	57.1%	55.9%	60.9%（此行报道的第二高得分）	53.0%	60.5%	57.8%	57.0%	58.0%	53.1%	60.5%	57.4%
Tau 3 Banking v1.0.1	40.4%（此行报道的第二高得分）	47.2%（此行报道的最高得分）	–	–	–	–	–	–	–	33.4%	–	–	–
DAYJOB (Finance)	14.3%（此行报道的最高得分）	7.3%	–	–	12.5%（此行报道的第二高得分）	–	11.0%	–	4.8%	5.5%	6.8%	4.5%	–
Apex-Accounting v1.1pass@1	14.5%	12.3%	–	13.5%	12.5%	13.8%	13.9%	–	12.0%	9.5%	10.8%	15.5%（此行报道的最高得分）	15.3%（此行报道的第二高得分）
Apex-Accounting v1.1mean score	62.0%（此行报道的第二高得分）	53.7%	–	60.0%	59.3%	58.0%	59.5%	–	56.5%	56.7%	53.9%	58.8%	62.2%（此行报道的最高得分）
Legal Work
Vals Legal Index	73.9%（此行报道的第二高得分）	71.1%	69.0%	67.1%	71.9%	68.5%	74.6%（此行报道的最高得分）	72.1%	67.8%	71.7%	62.2%	69.8%	70.3%
Visual Creation
DesignArena Web Apps	1296（此行报道的最高得分）	–	–	–	–	–	–	1275	–	1283（此行报道的第二高得分）	1161	1221	–
DesignArena Website	1340（此行报道的最高得分）	1270	–	1280	1297	1303	1290	1307	1256	1334（此行报道的第二高得分）	1268	1299	1261
DesignArena Game Dev	1428（此行报道的最高得分）	1276	–	1312	1261	1270	1303	1315	1225	1351（此行报道的第二高得分）	1261	1305	1319
DesignArena 3D Design	1401（此行报道的最高得分）	1314	–	1332	1361	1261	1324	1333	1249	1381（此行报道的第二高得分）	1213	1291	1334
Code2Video-AA	1020	975	1052（此行报道的第二高得分）	–	–	–	1034	1052（此行报道的第二高得分）	–	1041	1030	899	1192（此行报道的最高得分）
Visual Perception
PerceptionBench	64.7%（此行报道的最高得分）	–	–	–	47.7%	–	–	–	–	58.5%（此行报道的第二高得分）	56.2%	–	–
ScreenSpot Prooriginal / with Python	83.8/91.5%（此行报道的最高得分）	–	–	–	–	–	–	56.6%/–	42.3%/–	73.8/83.2%	81.1/87.6%（此行报道的第二高得分）	–	–
HSS	33.3%（此行报道的第二高得分）	26.8%	25.4%	–	30.1%	29.6%	–	25.2%	–	25.5%	21.0%	41.6%（此行报道的最高得分）	–
BabyVisionoriginal / with Python	68.6/93.7%（此行报道的最高得分）	53.4/82.6%（此行报道的第二高得分）	–	–/91.0%	–/92.5%	44.3/80.2%	–	–	42.3/71.5%	53.4/85.7%（此行报道的第二高得分）	–	–	–
Visual Reasoning
GDP.pdf	25.2%（此行报道的最高得分）	15.4%	9.0%	20.8%	17.2%	18.6%	11.2%	19.2%	17.6%	22.0%	22.8%（此行报道的第二高得分）	21.0%	20.8%
MMMU Pro (Standard 10)	81.6% (本行中报告的第二高分)	79.0%	–	79.1%	80.6%	80.9%	–	74.1%	78.0%	80.5%	79.7%	85.6% (本行中报告的最高分)	79.1%
Charxiv RQoriginal / with Python	85.5/87.7% (本行中报告的第二高分)	80.2/89.4%	66.2%/–	82.5%/–	77.0/85.6%	85.4/88.7%	–	74.2%/–	83.2/87.9%	84.8/91.3%	81.8/85.3%	86.2/92.1% (本行中报告的最高分)	84.4%/–
Chartographyoriginal / with Python	36.7/80.4%	16.3/78.0%	7.5%/–	12.6%/–	17.9/83.0%	35.7/63.2%	–	10.8%/–	21.2/56.6%	26.6/68.1%	32.0%/–	40.9/82.0% (本行中报告的第二高分)	46.4%/– (本行中报告的最高分)
STEM Reasoning
CritPt v2Full / Hard	55.7/35.0%	–/24.5%	–/29.5%	51.4/32.5%	50.6/25.0%	52.6/29.5%	57.4/33.5%	56.9/34.0%	50.3/27.0%	–/40.5%	65.1/42.5% (本行中报告的最高分)	65.1/46.5% (本行中报告的最高分)	64.0/43.5% (本行中报告的第二高分)
HLE-Diamond	28.7%	18.2%	13.7%	28.1%	25.3%	26.3%	17.9%	15.2%	17.3%	26.9%	22.2%	33.1% (本行中报告的最高分)	29.6% (本行中报告的第二高分)
HLE (with tools)	53.2%	–	–	–	58.8%	61.0% (本行中报告的第二高分)	62.5% (本行中报告的最高分)	–	–	56.0%	–	–	57.4%
Apex 2025	63.5% (本行中报告的第二高分)	–	–	–	–	32.3%	–	–	–	65.6% (本行中报告的最高分)	–	–	–
Long Context
AA-LCR v1.1	83.3%	80.0%	–	–	–	78.3%	79.7%	86.3% (本行中报告的第二高分)	–	88.7% (本行中报告的最高分)	–	81.3%	82.7%
LongBench v2	70.6% (本行中报告的第二高分)	68.2%	60.7%	60.9%	69.0%	68.7%	68.4%	68.0%	65.7%	69.0%	65.0%	73.7% (本行中报告的最高分)	65.3%
Factuality
AA-Omniscience v1.1score	16.1	0.7	-10.8	-6.4	0.9	25.8 (本行中报告的最高分)	6.0	-4.5	5.1	–	-8.3	23.3 (本行中报告的第二高分)	12.3
AA-Omniscience v1.1non-hallucination rate	73.3% (本行中报告的最高分)	–	–	6.3%	35.9%	72.0% (本行中报告的第二高分)	61.1%	39.8%	71.8%	–	20.7%	44.9%	65.8%
Instruction Following
ComplexConstraints v1.0	44.5%	27.6%	22.1%	23.2%	50.4% (本行中报告的最高分)	41.3%	30.5%	32.3%	36.5%	37.9%	27.3%	48.4% (本行中报告的第二高分)	36.8%
Safety (Misalignment)
DistressBench	82.0% (本行中报告的第二高分)	72.7%	–	–	79.8%	87.7% (本行中报告的最高分)	72.5%	–	77.0%	73.5%	66.7%	70.7%	71.7%
FORTRESS (adversarial)	83.8% (本行中报告的第二高分)	73.3%	–	–	72.8%	92.4% (本行中报告的最高分)	71.8%	–	76.0%	–	–	–	–
FORTRESS (benign)	79.7%	96.4% (本行中报告的第二高分)	–	–	93.1%	84.0%	96.8% (本行中报告的最高分)	–	91.8%	–	–	–	–
StrongREJECT (none)	97.8%	96.8%	–	–	98.7% (本行中报告的最高分)	97.6%	97.2%	–	98.6% (本行中报告的第二高分)	–	–	–	–
Safety (Misuse)
CyberBench v1.1	72.7%	67.9%	75.4%	–	73.7%	–	72.1%	72.9%	–	75.2%	76.3% (本行中报告的最高分)	43.8%	75.5% (本行中报告的第二高分)
PatchEval	79.6% (本行中报告的第二高分)	74.8%	–	–	80.4% (本行中报告的最高分)	77.8%	69.6%	–	76.1%	–	–	–	–

每行中报告的最高得分；包含并列得分每行中报告的第二高得分；包含并列得分

评估快照：缺失的结果以破折号表示。

局限性

虽然 Inkling 2 Small 在可用性上比 Inkling 有所提升，但它并不是最简练的沟通者，也并不总是能为工作选择最好的工具——尤其是在包含大量技能的代码库中。

与先前的 Inkling 模型一样，Inkling 2 Small 原生支持图像输入；不过，该模型不支持音频。

Inkling 2 Small 对聊天体验的优化也较少。我们注意到一些问题，例如内容的组织和呈现较差、过度使用斜杠，以及对心理健康和其他安全相关查询过度反应。

立即体验 Inkling 2 Small

我们很自豪能在 Tinker 上推出 Inkling 2 Small，以供推理和微调使用。在完成安全测试后，该模型将在未来几周内在其他平台上架。

Inkling 2 Small 的推出旨在服务于我们的使命：构建能够延伸人类意志和判断力的 AI。我们希望它能激发您的雄心，并期待看到您用它构建的作品。