DeepSeek Harness规模化踩坑实录:耗时、成本、失败到底该怎么查
一、导语
Agent 已经进入不少团队的日常研发流程。规模上来之后,使用方的关注点不再只是单次结果是否正确,还包括三件事:耗时花在模型推理还是工具执行上;Token 消耗集中在哪些会话、哪些模型上;失败与中断发生在哪一步,过程是否可以回溯。
DeepSeek Harness(下文简称 DSH)是 DeepSeek 开源的 Agent 框架,自带会话轨迹视图、Session 事件流落盘与工具调用检索,作用域是本机、单会话、实时;一旦要看一批任务的整体表现、一段时间的成本分布,或复现几天前的一次失败,就需要跨会话、跨机器且可长期留存的结构化链路数据。
腾讯云 Agent 可观测在已有的 OneSuite Agent 观测能力基础上,提供了针对 DSH 的采集插件:以原生插件形态挂载,将执行过程还原为结构化调用链,覆盖任务与推理轮次、模型调用、工具调用、会话关联,配合链路检索、聚合分析与平台本身的告警仪表盘等能力,构成针对 DSH 的全景Agent 可观测方案。
二、DeepSeek Harness 的运行原理
DSH 是一个开源的编码 Agent 框架,命令行名 dsh,用于让大模型在受控环境中自主完成一个完整任务:读写文件、执行命令、调用外部服务,并根据每一步的结果决定下一步动作。
组织方式上,DSH 采用 Cordis 微内核加全插件化:内核只负责按 profile 装配插件与管理生命周期,模型适配器、工具集、沙箱策略、会话持久化等均为可插拔插件,web / tui / headless 三种形态共用同一个内核,可观测能力同样挂载在这一层。
执行模型是 ReAct 循环:一次用户任务称为一个 turn,turn 内的每一轮推理、调用工具、观察结果称为一个 step。循环轮数与调用哪些工具由模型在运行时决定,因此执行结构在运行前无法确定。
图1 DSH 的分层结构、一次 turn 的执行时序,以及对外的两条数据产出
2.1 DSH 自带了什么
基于上述事件流与落盘数据,DSH 自身提供了三项开箱即用的观测能力:
会话轨迹——浏览器内按轮次组织的执行记录表,可查看单条记录的 Token 用量与耗时。
Session 事件流落盘——完整事件流以 zstd 压缩的 JSONL 落盘于 $DSH_HOME/sessions/,数据无损。
工具调用检索——工具的调用参数与返回结果记录在事件流中,并支持会话全文检索。
图2 DSH 自带的会话轨迹视图
2.2 为什么还需要在这份数据之上完善调用关系
DSH 的过程数据是按时间排列的会话事件序列,且保存在本机:目前暂时没有调用关系与各自的时间占用统计,在实际业务部署规模扩大后随着机器数量增大,三个问题会变得突出:
实现这些能力的共同前提是把一次任务还原成一棵带父子关系与时间区间的调用树,并让数据可以跨会话、跨机器汇聚与长期留存。
三、腾讯云 Agent 可观测提供了什么
基于目前已有的OneSuite Agent能力基础上,提供一个 DSH 插件挂载在 DSH能力插件层,对接运行时的事件总线与流式管道,聚焦做三件事:
订阅——订阅生命周期事件,并在模型流式管道上包一层中间件,逐块观察而不改变数据,不插桩、不改代码。
建模——在插件内维护状态树,把散落的事件还原成五层调用树,映射为符合 OpenTelemetry GenAI 语义约定的 Span。
上报——数据批量直传腾讯云 Agent 可观测,不经过 Collector 或常驻采集进程。
3.1 数据地基:五层调用树
插件上报的调用链路分成五个层级,与 DSH 的实际执行结构一一对应:一个 turn 对应一次任务,turn 内有若干 step,step 内有模型调用与工具调用。
图3 五层 Span 模型与各层承载信息
一次 turn 一条 trace——多轮对话通过 gen_ai.session.id 横向关联,避免长会话产生无限膨胀的单条链路。
重试不被合并——每次真实模型调用生成独立 chat Span,以 dsh.llm.attempt 标记序号。
中断也画完整——流未收尾、step 先于工具结束、用户中断等场景均补发带错误码的 Span。
各层属性均遵循 OpenTelemetry GenAI 语义约定,便于与既有可观测体系对齐,也便于后续接入其他 Agent 框架时保持同一套口径。
图4 整体技术架构与数据路径
Agent 的执行结构由模型在运行时决定,层级深度不固定,而链路数据要求父子关系明确、时间区间完整。插件通过状态树与延迟发射处理这一差异构造整体采集上报能力。
图5 一次 turn 的完整处理逻辑:事件流 → 状态树 → Span 发射 → 批量上报
四、接入后腾讯云Agent可观测后能看到什么
接入后,DSH 的每一次任务都会形成一条完整链路,并按会话、模型、工具等维度汇总:
完整调用链——entry / agent / step / chat / tool 五层逐层展开,父子关系与各层耗时占比清晰可见
耗时分布——端到端与单轮耗时、模型推理与工具执行各自的占用,以及首 Token 延迟与 P95 分位数
Token 与成本——输入、输出分别统计,可下钻到单次模型调用,也可按会话、模型聚合排行
调用明细——模型名称、结束原因与重试次数,工具名称、耗时、错误情况统计
失败定位——每层 Span 带独立状态并支持错误类型自定义,可用于区分模型侧失败、工具侧失败与循环中断
检索与告警——Traces / Spans / Sessions 三种视角,支持按 Trace ID、Session ID 与状态检索,并可对耗时、失败率配置告警
下述为部…