Skill 创作手记: 我把微信聊天记录通过skill转化成【可搜索的知识库】

Part 1: 灵感来源


我在的一个学VibeCoding的高质量社群(AI黄叔的群),每天都会有人分享有价值的链接。GitHub 项目、飞书文档、技术文章……我曾经花了半天搞了个可以提取微信文章到数据库的一个工具,唯一没有自动化的是,文章链接要自己一个个复制,大概每天5-10分钟。

但第二天我就没有继续更新了,我突然意识到一个问题——有些事操作很简单能做,但我就是不想每天做。

复制链接很简单,但很难每天坚持。一旦断了,就不想继续了。没爬楼的内容找不到,看过也不等于记得,看群反而加重了信息负担。

我想做这个skill的初心其实很简单:

  • 从源头(聊天记录)自动提取

  • 一键完成所有事情

  • 支持搜索(知识库的核心价值)

有了大概的思路,正好有个做 skill 的比赛,我就想如果能跑出来,就用这个参赛。

其实核心思路就是搞到聊天记录,然后文本分析提取链接,清洗数据,然后生成报告


Part 2: 整体流程

我从 10000 多条聊天记录里提取信息,发现整体的工作流可以是这样的:

  

第一步:聊天记录导出

微信群聊的导出,需要有点黑科技,不过还好我在GitHub找到一个项目解决了。导出格式是 JSON,里面包含了每条消息的发送者、时间戳、内容、链接等信息。

第二步:解析和提取

从 JSON 里解析出有链接的消息,提取所有的 URL,因为有部分单条文本是有好几个链接的。这里要注意 URL 的清洗——不然数据肯定会漏。

第三步:抓取内容

批量抓取链接的内容。有些链接需要登录,有些是 JS 渲染的,有些直接失效。需要分轮处理。

第四步:AI 分析

生成标题、总结、分类、优先级评估。这里有个关键发现——飞书自己就有 AI 分析功能,可以直接用。

第五步:同步飞书

把所有数据同步到飞书多维表格,形成可搜索的知识库。

第六步:生成报告

生成 HTML 可视化报告,带筛选、搜索功能的卡片展示。

整个流程跑通后,从聊天记录到可视化报告,全自动完成。


Part 3:  内容抓取的bug

内容抓取这块,一开始我以为挺简单的。

之前做过微信文章的抓取,以为这次也会比较顺利。结果跑起来发现——有些链接需要登录,有些链接是 JS 动态渲染的,有些链接直接就失效了。

CC 一开始就是吭哧吭哧干活,一跑就是十几分钟没有反馈。等了半天,第一批数据跑出来了,成功率只有 60%。

剩下的 40% 怎么办?继续跑第二轮?还是换 Playwright 上?

折腾了一轮,发现这样"一轮到底"的思路有问题:没有反馈,不知道进度,跑完才发现有问题,再调整策略,再跑一轮。太低效了。


这时候,我发现了一个关键问题:

之前微信文章我用过模拟浏览器登陆的方式保存内容,是用到懒加载的技巧。

我想了想,做了一个策略调整:

链接抓取分三轮:

  • 第一轮:用 requests 快速抓取(解决 80% 的简单链接)

  • 第二轮:用 Playwright 加懒加载,处理反爬(再解决 15%)

  • 第三轮:剩下的 5% 直接标记为失败(客观限制,不追求 100%)链接也很多,失败的有些可读性本身也不高,也可以考虑空的时候手动抓。

用上懒加载之后:

  • 速度提升 2 倍,而且不用等“黑盒时间”,我还提醒cc要分批处理,及时反馈

第一轮跑完,10 分钟就能看到 80% 的结果。然后再根据失败的情况,决定要不要跑第二轮。

不是"一轮到底",而是"逐步逼近"。

我后来总结得很到位:AI 容易吭哧吭哧干活,没有分批的概念。如果没有提前沟通,干一大段黑盒时间没有反馈,发现一直错。分几轮提取,第一轮解决 80%的问题,第二轮再解决,比一轮解决更好。


Part 4: 渐进性思考,逐步执行

这次 skill 创作最大的收获,其实就一…

— 以上为试看内容(约 40%),开通会员后阅读全文 —