随着智能体(Agent)能力不断走向成熟,Token 消耗快速增长正在成为大模型落地中的核心矛盾之一。与传统聊天场景相比,Agent 任务的输入长度往往提升了两个数量级;与此同时,频繁的工具调用、多轮规划与长程执行,又不断拉长模型的输出链路。这意味着,模型在真实应用中不仅要面对更高的推理算力压力,也会带来更高的用户使用成本。
另一方面,为了进一步推高能力上限,行业中的主流模型正普遍走向“长思考”路径,以更长的推理过程换取更高的任务上限。但问题在于:对于日常高频的 Agent 使用场景而言,如此大量的推理 Token,是否始终必要?
基于这一现实问题,我们正式推出 Ling-2.6-flash—— 一款总参数量 104B、激活参数 7.4B 的 Instruct 模型。面对持续攀升的 Token 压力,Ling-2.6-flash 选择了一条不同的技术路径:不是单纯依赖更长输出换取更高分数,而是围绕推理效率、Token 效率与 Agent 场景表现进行系统性优化,在保持竞争力智能水平的同时,尽可能做到更快、更省、更适合真实业务场景。
具体来看,Ling-2.6-flash 的核心能力体现在三个方面:
-
混合线性架构,释放推理效率:通过引入混合线性架构,模型从底层优化计算效率,在 4 卡 H20 条件下推理速度最快可达到 340 tokens/s,Prefill 吞吐达到 Nemotron-3-Super的 2.2 倍,以更高的“费效比”完成任务。
-
Token 效率优化,提升智效比:在训练过程中,我们对 Token 效率进行了针对性校准,力求以更精简的输出完成既定目标。在 Artificial Analysis 的完整评测中,Ling-2.6-flash 仅消耗 15M tokens,约为 Nemotron-3-Super 等模型的 1/10, 以更高的“智效比”完成任务。
-
面向 Agent 场景进行定向增强:针对当前需求最旺盛的 Agent 应用,我们在工具调用、多步规划与任务执行能力上持续打磨,使模型在 BFCL-V4、TAU2-bench、SWE-bench Verified、Claw-Eval、PinchBench等评测中,即使面对激活参数更大的模型,依然能够取得相近甚至 SOTA 级别的表现。
这也意味着,Ling-2.6-flash 所追求的,并不是单点极限能力,而是在控制 Token 消耗的前提下,依然保持对 Agent 任务的强竞争力。对开发者与企业而言,这代表着更低的推理成本、更高的部署效率,以及更适合大规模真实应用的模型体验。
Ling-2.6-flash 在 Agent 相关基准上达到同尺寸 SOTA 水平,并在其他核心能力上保持出色表现。
混合线性架构,释放推理效率
架构改进
Ling-2.6-flash 延用了 Ling 2.5 的模型架构设计:在 Ling 2.0 架构基础上引入了混合线性注意力机制。通过增量训练方式,将 Ling 2.0 架构的 GQA 注意力机制升级为 1:7 的 MLA + Lightning Linear 高效混合架构。
得益于混合注意力机制与高度稀疏化的 MoE 架构,Ling-2.6-flash 在推理效率上展现出显著优势。与同尺寸级别的主流 SOTA 模型相比,Ling-2.6-flash 不仅首字响应更快,长输出场景下的生成效率也更高,Prefill 吞吐与 Decode 吞吐最高均可达到约 4 倍提升。
从下图中可以看到,随着上下文长度和生成长度持续增加,Ling-2.6-flash 的吞吐优势进一步放大。同时,Ling-2.6-flash 的优势并不只体现在静态指标上,而是在真实部署环境中,能够随着任务复杂度提升持续释放更强的速度收益。无论是长上下文理解,还是长文本连续生成,Ling-2.6-flash 都能在保持模型能力的同时,带来更快的响应、更高的吞吐,以及更具优势的实际部署效率。
输出(Decode)吞吐优势对比,四卡H20-3e,TP=4,Batch Size = 32
输入(Prefill)吞吐优势对比,四卡H20-3e,TP=4,Batch Size = 32
推理效率优化
在 Ling-2.6-flash 的预训练阶段,我们通过大规模算子融合显著提升了训练效率;在推理侧,则进一步围绕真实部署场景进行了深度适配,使融合算子在融合粒度、实现路径与数值行为上尽可能与训练侧保持一致。这样的设计不仅带来了更高的推理效率,也在 RL Rollout 阶段进一步增强了训推一致性。相关推理算子将随linghe陆续开源。
针对不同精度场景,我们对推理链路进行了系统性优化。
-
针对BF16推理,我们实现了 QK Norm + RoPE、Group RMSNorm + Sigmoid Gate 等关键算子的深度融合,并在 MoE Router GEMM 与 LM Head GEMM中采用BF16 Input + FP32 Output的计算方式,同时优化了 MLA RoPE 与 Top-K 的实现。
-
针对 FP8 推理,我们进一步将RMSNorm、SwiGLU与量化算子进行融合,并针对小 Batch Size 场景引入 Split-K 的 Blockwise FP8 GEMM,进一步释放吞吐潜力。从算子融合、缓存机制到多 token生成的一整套系统级协同优化。最终带来的,不只是更高的系统吞吐,也包括更高的单用户 TPS、更短的等待时间,以及在真实交互场景下更稳定、更流畅的使用体验。
在 Artificial Analysis 榜单的 Output Speed 维度的官方测评中,对比同参数量级别的主流模型,Ling-2.6-flash 以 215 tokens/s 的输出速度处于第一梯队,展现出领先的生成效率。
Token 效率优化,提升智效比
在 Artificial Analysis(AA)的Intelligence vs. Output Tokens对比中,Li…