AgentIF-OneDay发布,评估全场景长时复杂任务


随着大模型在单点推理上日益逼近PhD水平,Agent领域迎来了新的分水岭:短程任务表现惊艳,长程任务却显乏力。为精准评估大模型的多模态理解与复杂问题解决能力,红杉中国在两周内连续发布两篇论文,旨在通过构建更科学的评估基准,预判技术演进的未来方向。


xbench正式推出AgentIF-OneDay评测体系,不再单纯考核模型知道多少知识,而是衡量它解决复杂任务的能力。AgentIF-OneDay深入探索了从OneHour到OneDay的能力跨越,揭示了主流Agent在工作流执行、隐式推断与迭代编辑中的真实表现。让我们共同见证,Agent 是如何通过Scaling Context与Scaling Domain,从单纯的“提问助手”进化为真正创造经济价值的“数字员工”。


Agent能否协助你一天的生活?



自从红杉中国xbench发布ScienceQA与DeepSearch以来,这两个评测集已经经历了多次迭代升级。无论是模型本身,还是围绕模型构建的Agent系统,都已经在这些以分钟级为单位的集中推理任务上能够稳定胜任,从最初的human-average水平,逐渐达到接近PhD-level的表现。


随着我们进一步进入Agent能力评测的领域,我们发现Agent完成短时任务与长时任务之间存在巨大的能力鸿沟。即便在单点推理和局部任务中已达到极高水平,一旦任务在突破一般人一小时可处理的复杂度,Agent的整体完成度就会出现明显下降。



从xbench所坚持的理念出发,更好的评估模型和智能体在实际工作和生活中的价值。我们希望通过评测体系来观察行业技术路线的演进,预测模型能力的上限,同时也希望给业界补充一个面向utility和economic value的思考视角。我们提出一个新的视角来理解Agent的能力边界:任务复杂度,任务复杂度并不等同于知识点有多深奥或推理难度,而是完成一个任务所需的人类时间投入,并由此对应其潜在的经济与使用价值。


我们认为Agent能力的演进会沿着两条主线展开:scaling context与scaling domain。这两条轴线共同决定了Agent能够承担的任务复杂度上限,也是Agent系统从工具走向数字员工的发展方向。


• Scaling context指的是完成的任务在时间维度上的延展。随着任务复杂度的提升,Agent需要在更长的执行周期中持续维护上下文状态,跟踪中间目标与约束,并在多步骤、多工具的交互过程中保持一致性。从分钟级任务,到一天级、乃至一周级的工作量。


• Scaling domain则指Agent在任务类型上扩展带来的复杂度。与高度结构化、domain集中的任务(如coding或数学推理)不同,现实世界中的工作往往横跨多个领域与语境,不同任务在目标表述、隐含约束、工具使用方式与评估标准上差异显著。Agent能力的进一步提升,伴随着对更广的任务分布的覆盖能力。


xbench在设计AgentIF评测体系时,会同时沿着context与domain两个方向推进。一方面,通过逐步拉长任务对应的人类时间尺度,从OneHour走向OneDay;另一方面,通过覆盖更加多样的生活、学习与职业场景,刻画Agent 在真实世界任务分布中的整体能力边界。



本次发布的AgentIF-OneDay是xbench在该评测系列中的一个新工作。我们以人类一天内可完成的任务复杂度作为基准,测试一个Agent是否具备在无需人类介入的情况下,稳定完成整套任务并交付结果的能力。尽量覆盖更diverse的domain,包括生活、学习和职业场景会遇到的多种多样的任务以及多种工具。


如何构造一天的典型任务?



在对大量用户真实工作日志进行分析后,我们发现尽管具体任务内容差异巨大,但日常工作在类型上呈现出高度稳定的模式。大多数普通人的一天可以按照使用场景被抽象为三个任务类型——工作流执行、范例参考以及迭代式编辑。


场景一

当你知道该怎么做,但执行太繁琐


用户已知完整流程并明确给出操作步骤,Agent只需精确执行。我们称此类任务为工作流执行(Workflow Execution)。

例题


我计划去NeurIPS 2025,帮我规划一个好的行程方案。请你先去官网确认NeurIPS 2025会议的主会场位置(San Diego Convention Center, San Diego)是否准确,然后用另一个可靠来源交叉验证这个信息,确保万无一失。接下来,帮我收集基本信息,比如会议时间、地点和论文提交截止日期。还要确认完整的会议日程是否已经发布——如果还没发布,请明确告诉我。最后,从纽约出发给我两套去圣地亚哥的行程方案:一个最便宜的Cheap Plan,一个最快的Fast Plan。


当Agent能够在整个流程中保持一致性、逐步完成步骤、并…

— 以上为试看内容(约 40%),开通会员后阅读全文 —