AI落地Best Practice · 数字人与多模态 · 2026-07-24

「听记」v0.4:我用 Kimi K3 给听记加了实时转录

「听记」v0.4新增实时转录,用Kimi K3实现边说边出字,标准/增强模式适配不同场景。 核心内容:

  1. 实时转录功能及两种模式(标准/增强)
  2. 实时转录的实现流程(采集、识别、存储)
  3. 开发中遇到的关键问题与解决(权限、字幕排版等)

v0.3 把历史会议管起来之后,下一个需求就来了:能不能不等录完再处理,而是开会时边说边出字?正好Kimi K3发布,我就全程用K3折腾了一阵子,v0.4 就把这个能力补上了。

v0.4 改了什么

很简单:实时转录。开会时打开浏览器,点「开始实时记录」,麦克风里的声音会实时转成文字显示在页面上。点停止后,它会把录音存成 wav,把原文存成 json,然后进入和上传录音一样的整理流程:校对、整理、生成结构化纪要。

两种模式做了区分:标准模式:内置 FunASR 流式引擎,macOS / WSL / Linux 都能用,不需要额外配置增强模式:基于 GPU 的 Fun-ASR-Nano vLLM sidecar,方言、口音、远场识别更准,但环境要求更高,放在 v0.5 再提供v0.4 先把标准模式做扎实,保证开箱即用。

实时转录是怎么跑起来的

流程不复杂:

  1. 浏览器采集麦克风音频
  2. 通过 WebSocket 把音频流发给后端
  3. 后端用 FunASR 的流式模型 paraformer-zh-streaming 逐段识别
  4. 识别结果实时返回前端,页面一行一行显示出来
  5. 停止后,后端把整段录音保存下来,再用离线 ASR 跑一遍,得到准确的说话人和时间戳

所以实时页面上的文字更像是草稿,最终质量得靠停止后的离线那一遍。

我踩了 4 个坑

  1. 局域网开不了麦克风浏览器有个安全规则:麦克风权限只给 localhost 或 HTTPS。如果你在局域网用 http://192.168.x.x:8000 打开,浏览器直接拒绝授权,点「开始」没反应。解决方式是在 config.yaml 里打开 SSL:
server: ssl: enabled: true

重启后 run.sh 会自动生成自签名证书到 certs/ 目录,局域网设备通过 https://2. 实时字幕挤成一团一开始实时字幕把一大段没标点的文字全堆在 partial 区域,根本没法读。流式模型返回的是原始识别文本,标点要自己补。问题报给K3, K3加了 ct-punc 标点模型给流出的文字实时打标点,同时把 partial 显示区域限制成最多 6…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/zhishiguanli/2026072441728.html