现在网上盛行"养龙虾",但是大多数自媒体文章或视频讲的其实还是如何部署居多,比如教你怎么在 Mac Mini 部署或在 VPS 部署,等等。
在OpenClaw 技术解剖 (一):智能体的心脏 —— 记忆架构深度解析这篇文章中,当时刚开始看 OpenClaw 的源码,对它的内存管理机制做了一个整体的了解,包括 Markdown 文件使用,以及与 Sqlite 数据库的协作等。
其中 Sqlite 数据库的使用,让我对 Sqlite 有了新的认识。
由于在企业级应用中使用 mysql 以及 postgres 比较多,很早以前看过一点关于 Sqlite 的资料,只大概了解它是一个在本地运行的轻量级数据库。
所以,我很好奇,OpenClaw 这样一个复杂的应用,为什么会选择 Sqlite 作为数据库?
本文想再挖得深一点,让我们开始吧。
1. Markdown (冷备) 与 SQLite (热召回)
当我们和 Clawdbot 沟通完一个复杂的技术架构,并触发 /new 指令或底层 Auto-Reply 觉得应当归档时,系统并不会粗暴地把几千个 Context Token 全盘塞入数据库。
在 OpenClaw 中通过 session-memory 相关的 Hooks,我们可以清晰看到这一过程的“降维策略”:
-
- 脱水与纯文本化:
系统会首先把复杂的 Session Context(包括可能存在的 Base64 图片等庞大冗余信息)进行“脱水”。并且,会过滤到只剩
type === "text"的核心载荷,主动丢弃极其消耗资源的图片记忆。
- 脱水与纯文本化:
系统会首先把复杂的 Session Context(包括可能存在的 Base64 图片等庞大冗余信息)进行“脱水”。并且,会过滤到只剩
-
- 生成基线日志 (Source of Truth):
调用大模型为这次会话生成一个 Slug(如
bugfix),然后以最原始、最安全的格式将其落盘:YYYY-MM-DD-slug.md。 这种 Append-only(只追加不修改)的粗暴按时间线记录,保证了写锁的绝对安全。
- 生成基线日志 (Source of Truth):
调用大模型为这次会话生成一个 Slug(如
-
- File Watcher 与热索引注入:
MD 文件落地瞬间,底层的监视器立即捕获变更。然后,通过基于 Token 的 Sliding Window 将长文切片(Chunking),异步写入 SQLite 的
chunks表,并同时同步给 FTS(全文检索表)和 Vectors(向量特征表)。
- File Watcher 与热索引注入:
MD 文件落地瞬间,底层的监视器立即捕获变更。然后,通过基于 Token 的 Sliding Window 将长文切片(Chunking),异步写入 SQLite 的
这套架构极其精妙: 物理层用最笨的 Markdown 保障人类可读性与数据防灾备份;而认知层则全部交于 SQLite 进行结构化的高速召回。
2. SQLite WAL 机制与 Node.js 单线程的共振
在我原来有限的 Sqlite 经验中,它只是个单线程的小玩具。
那么,当 OpenClaw 会“裂变”出成百上千个异步并发的 SubAgent 时,它们在不断地上报运行状态(registry)、读写记忆,难道不会把 SQLite 的写锁卡死吗?
OpenClaw 的答案在它的数据库初始化代码里:
PRAGMA journal_mode = WAL;PRAGMA synchronous = NORMAL;
这就是破局的关键:WAL (Write-Ahead Logging,预写式日志)。这是 SQLite 官方原生支持的一种极致的高级日志机制。
读写不互斥的秘密:增量追加
在传统的 Journal 模式下,如果要修改甚至删除一条数据,SQLite 必须在修改原始 .db 文件前把整个数据库锁死,这就导致典型的读写互斥。如果写入被锁住,其他正在读取词向量的 Agent 就会遭到阻塞(抛出臭名昭著的 SQLITE_BUSY 错误)。
但在 WAL 模式下,SQLite 巧妙地把所有形式的“修改”全部变成了“增量追加(Append)”:
1. 纯增量的写保护:
无论是 INSERT、UPDATE 还是 DELETE,数据库根本不会去触碰原始的巨大 .db 文件,而是把这笔新的修改数据以 Append 的方式,飞速写到一个独立的、带有 -wal 后缀的数据文件中。
2. 不被阻塞的读取:
因为写操作仅仅是在另一个文件末尾做追加,历史数据的读取完全不被打断。读请求会结合传统的 .db 文件和 -wal 文件中最新的内容拼合返回。哪怕有一批新的数据正在被追加,当前的读取只要忽略正在写入的这几个比特,就能瞬间拿走数据快照(即“读者不阻塞写者,写者不阻塞读者”)。
3. 静默归档与必然的代价(Checkpoint):
天下没有免费的午餐,数据的最终合并必然伴随锁操作。当背后的 -wal 文件膨胀到一定阈值(默认 1000 页,约 4MB),SQLite 会启动 Checkpoint(检查点归档),将这些增量刷回主 .db 文件。在这个合并的瞬间,物理数据块会被加上排他锁。
但这并不会造成系统瘫痪。
一方面,即便在合并期间,全新发起的写请求依然可以无阻碍地继续追加到 WAL 的后部;
另一方面,由于是底层高速磁盘块覆盖且没有网络 I/O 开销,这个合并通常在几毫秒至几十毫秒内完成。结合用户在等待大模型 API 响应时漫长的 I/O 空隙,这种不可避免的“微秒级锁毛刺”被完美地掩盖了过去。
与 Node.js Event Loop 的完美契合
我们知道 Node.js 是单线程非阻塞(Event Loop)模型。
如果 Node.js 在单线程里去面对一个需要随时上全局排他锁的数据库,只要发生一次耗时的复杂 UPDATE 触发了原文件的大面积改写,整个 Node 进程的 Event Loop 就可能会在这个 I/O 阻塞点上等很久,结果是所有子 Agent 的响应全部…