DeepSeek Harness 实测|模型之外的那一半,到底带来了什么
DeepSeek-V4-Pro 正式版上线当天,DeepSeek Harness 也开源了。之前注册Deepseek Harness公众号已经吵闹过一阵。V4 Flash 发布报告的模型卡里只漏过一句 DSH,外界却已经猜测了很久,可谓期待值拉满了。
源码摊开以后,预期和实物略有点对不上号。很多人等的是 DeepSeek 版 Codex。当前开源的这套东西更像还能继续造 Agent 的 runtime。Web coding agent 有,Headless、Python SDK、ACP 和 JSON-RPC 也有。模型、工具、会话、权限、沙箱、Agent Loop 和 UI,都可以拆开再装。
我第一时间基于开源仓库,在本机把 npm、Web、Headless 和 Python SDK 都跑通了,拆开默认配置和 session log,又拿同一个 Kimi K3 对照 DSH 与 Kimi Code,最后让 V4 Pro 连续做一条带视觉产物的复杂任务。
跑完以后总体印象是:DSH 现在更像是一个开放的 Agent 平台脚手架,默认产品还带着预览版的毛边,留待社区的打磨。一切皆插件的理念挺新颖,Trajectory 的源码设计口碑不错,值得学习。
图 1 按插件树、可替换能力和追加式事件流绘制的概念图。该图由图像模型生成,不是产品界面。
DSH 仍处于 Developer Preview。文中数字来自单次本机运行和公开用户反馈,用来看差异和边界,不做产品排名。
社区从一开始就在看两样东西
知乎问题《如何评价在 8 月 13 日发布的 DeepSeek Harness》下的反馈,大致分成两组。
一组用户等的是成熟 coding agent。他们关心桌面 App、终端体验、Windows、缓存命中、日常编码效果,以及官方 Harness 能不能把 V4 Pro / Flash 再抬一截。
另一组内测者盯着插件、Preset、Trajectory 和运行时自修改。他们看见的是一个可以继续开发 Agent 的平台。
两边都没看错。DSH 同时有这两个身份,完成度却不对称。runtime 已经很开放,默认产品体验还没追上 Claude Code、Codex、Kimi Code。
最稳的好评是 Trajectory
段小草把 Trajectory 比作 Agent 的 DevTools。时间轴、每轮请求和日志都能看见,查上下文压缩、Skill 过多和模型犯错时很有用。
卜寒兮也特别提到运行信息面板。缓存命中、输入 / 输出 token 和 token 速度都直接显示出来。
这件事和源码对得上。DSH 要求模型看见的内容必须已经记进日志,Trajectory 直接从 session event log 投影。它没有另埋一套监控数据,所以看见的轨迹更接近模型当时收到的真实请求。
插件值钱的地方,是把 Agent 收窄
社区早期插件里有不少换肤和整活,更值得看的是领域 Agent。
Kitt 在进化分享的 Data Agent 只保留 read、edit、write,再用 sqlcmd 替换 bash。模型围着数据库执行结果转,同时不再带着和数据分析无关的工具与上下文。
这个例子把 Plugin 和 Preset 的分工讲清楚了。插件提供新能力,Preset 决定某类 Agent 能看见哪些能力。DSH 真有生产价值时,往往落在删掉什么、替换什么。继续堆工具,只会多耗 token,也让模型更难选。
长任务能跑,账单也要一起看
Adam Platin自述用一周内测版管理机器学习竞赛。Agent 读规则、跑脚本、推进实验并调用浏览器,89 步后收尾。
瓜子脸帅哥给出了另一条时间线。DSH 将 Agent 接入微信,从需求到真机收到回复约 87.6 分钟,花费约 18 元。过程包含 SDK 调研、零依赖客户端、mock server、真实端点冒烟和扫码绑定。
这两条都是用户自述,不能当 benchmark。它们仍然给出一个很实用的尺度。长任务是否做完只是一半,另一半是花了多少分钟、多少 step、多少 token、几次人工接管。
跑通不难,麻烦在上下文从哪进来
官方最快的路径是 npx @deepseek-ai/dsh web。Node 需要 ^22.19.0 || >=24,启动后填写 API Key、选择工作区和 Agent Preset 就能用。源码安装还会碰到 pnpm、构建和 Git hooks,更适合准备开发插件的人。
本机实际跑通了四条入口。
Web UI 能正常创建本地工作区与会话 Headless 能执行一次性任务,成功时只向 stdout 输出最终回复 Python SDK 自带捆绑运行时,不依赖系统 Node --dump-config可以直接打印最终插件树
默认配置也能直接核对。Web profile 组装出 129 行插件配置,Headless 为 81 行。默认模型是 DeepSeek V4 Flash,权限是 workspace-write + ask。不同模式不是界面开关,它们加载的提示词和工具集合确实不同。
System Prompt 可以从日志还原
DSH 没有把运行时请求藏在内存里。System prompt 由 persona、工具说明和插件注册的 prompt sections 拼起来。发请求前,request/header 会记下 system、model、temperature、max tokens 与 tools,request/context 记下 provider 和 context window。
官方 Python SDK 的 minimal composition 更容易看清这个结构。它把 persona 固定成一句 You are a helpful software engineer assistant.,关掉 workspace prompt、Skills 与 compaction,只留下 persistent bash 和 str_replace_editor。模型前缀被冻住了,工具面带来的干扰也少很多。
Trajectory 底下是一条只能追加的事件流
会话以 zstd 压缩 JSONL 保存,每条记录都有统一外壳。
{"type": "tool/call", "seq": 31, "time": 1786632922876, "data": {}}
一次写文件任务在本机产生 61 条事件。里面有 turn/start、三个 step/start、用户消息、请求头、reasoning chunks、两次 tool call / result、assistant message 和 turn/end。模型先 write,再 read 核对,最后汇报。
所以 Trajectory 能同时回答三类问题。
模型当时看见了什么 哪一步调用了哪个工具 token、缓存和结束原因怎样变化
四个字母的任务,首包也能吃掉一万三Token
测试目录位于一个大仓库内部。DSH 沿最近的 .git 找到仓库根,注入了 AGENTS.md / CLAUDE.md,又扫到用户技能目录里的 27 条摘要。写文件任务后续 step 出现约 1.3 万 cache-read token。这些固定前缀进了缓存,也说明它们确实进了模型请求。
后来评测和敏感项目,我都会换独立 Git 根,显式设置独立的 DSH_HOME 与 DSH_AGENTS_HOME。比较模型时用 minimal composition,这样才能够把上下文整理的干净一点。
图 2 标准、PTC、极简、创造四种预设对应不同插件组合。
标准模式提供完整的编码工具,适合直接处理日常开发任务。PTC模式在此基础上允许模型用 TypeScript 组合多步工具操作,极简模式只保留 bash 和文本编辑器,创造模式则增加运行时检查、插件实验和自定义 Preset 所需的能力。
同一个 Kimi K3,换 Harness 后发生了什么
Kimi Code 与 DeepSeek Harness 都是国产、MIT 开源、可接多模型的 coding agent / Harness。两边的出发点并不相同。
-p、ACP、Web | ||
kimi vis | ||
Kimi Code CLI 的仓库本身也是开放的。两边都开源,差别在运行时怎么组织。Kimi Code 把可扩展能力围着一套终端产品转,DSH 把 loop、provider、session 和 UI 都放进同一种插件组合模型。
公开反馈普遍认为同模型换 Harness 会改变产物,但任务、权限和上下文经常没有保持一致。这里固定 Kimi K3 API、提示词、工作区与隐藏验收,看两套产品怎样完成相同任务。
模型统一使用 kimi-k3提示词、任务模板和隐藏验收相同 每次使用全新 Git 工…