告别碎片化日志:一套方案采集所有主流 AI 编程工具

在AI编程工具快速普及的今天,如何有效采集和分析AI代码生成数据成为了一个重要课题。我们设计并实现了一套基于MCP(Model Context Protocol)架构的多AI工具代码采集方案,支持claude-code、iflow、codex等CLI工具以及qoder IDE。这套方案具有轻量化、用户无感、可扩展等特点,目前已经和Aone团队合作,数据将自动采集到Aone的日志平台用作团队AI采纳率数据加工的基础。当前已支持claude-code、codex、gemini、ykcli、iflow/iflow-aone、qwen-code、qoder等工具,平台覆盖 macOS + Windows。

一、背景

行业现状与挑战

随着AI编程助手的快速普及,开发者的日常工作中涌现出了众多AI工具,在不同场景下发挥着重要作用。然而,AI工具的多样化也带来了新的挑战:

  • 缺乏统一的数据收口:每个AI工具都有自己独特的数据格式和接口,缺乏统一的标准。开发团队难以全面了解AI工具在组织内的使用情况,无法建立统一的数据视图。

  • 平台支持不足:大多数AI工具专注于功能实现,对数据采集和分析的支持有限。即使有数据输出,格式也往往不够标准化,难以进行跨工具的对比分析。

  • 度量数据缺失:最关键的问题是,团队无法有效度量AI生成代码的采纳率、质量和影响。这些数据对于评估AI工具的ROI、优化开发流程、制定技术决策都至关重要。

基于这些痛点,我们团队决定建立一套统一的AI工具代码采集方案,为组织提供全面、准确的AI代码生成数据支撑。

二、业界方案分析与设计思路

在调研过程中,我们发现业界主要存在以下几类AI代码采集方案:

高德采集方案

高德团队在Cursor数据采集方面采用数据库文件解析方式。但在其他AI工具的采集上,高德选择了基于MCP在编辑文件前后记录diff数据的方案。这种实时拦截的方式虽然能够获取到相对完整的编辑历史,但存在明显的体验问题。由于需要在每次文件编辑时进行MCP调用和数据记录,会显著影响AI工具的响应速度,用户在使用过程中能明显感受到延迟。同时,这种方案依赖上下文保障数据一致性,在复杂的编辑场景下容易出现数据不准确的问题,特别是当编辑操作被中断或异常时,很难保证数据的完整性。

AIDC的VSCode插件方案

AIDC团队提供了基于VSCode插件的采集方案,这种方式相对比较重量级,需要用户主动安装和配置插件。目前该方案仅支持cursor,扩展性有限。插件形式虽然功能完整,但对用户的侵入性较强,需要用户感知并配置相关设置。

我们的设计思路

基于对业界方案的深入分析,我们确定了以下设计原则:

  • 轻量化优先:采集机制必须对原有工具完全无侵入,不能影响用户的正常使用体验。

  • 多样化适配:针对不同类型的AI工具(CLI工具、IDE工具、Web工具),采用最适合的采集策略。

  • 标准化输出:虽然采集方式多样,但最终输出的数据格式必须标准化,便于后续分析和处理。

  • 可靠性保障:通过本地缓存、重试机制、版本兼容性检查等手段,确保数据采集的可靠性。

三、技术方案

整体架构设计

我们的采集方案基于MCP架构设计,采用了分层解耦的思路。整个系统由三个核心组件构成:

  • 采集层(Collection Layer)负责从不同AI工具获取原始数据。对于CLI工具(claude-code、iflow、codex),我们通过Hook机制在工具执行时拦截相关事件;对于IDE工具(qoder),我们通过解析其历史快照文件获取代码变更信息。

  • 处理层(Processing Layer)将来自不同工具的异构数据标准化为统一格式。每种工具都有对应的Collector组件,负责解析原始数据并转换为标准的事件格式。这一层还包含了Git信息解析、文件路径规范化等通用处理逻辑。

  • 上报层(Reporting Layer)将标准化后的数据上报到SLS日志系统。这一层实现了数据的批量处理、重试机制和错误恢复,确保数据上报的可靠性。

统一的加工指标

AI 生码率(AI-Generated Code Ratio, AGCR):  AI有效提交行数/分支Diff总行数*100%

CLI工具采集机制

Hook类型

对于claude-code和iflow这类CLI工具,我们采用了Hook机制进行数据采集。系统会自动在用户的配置文件中注入Hook脚本,当工具执行文件操作时,Hook脚本会捕获相关事件并将数据写入本地日志文件。

#!/usr/bin/env bashset -euo pipefail
CLIENT_TYPE="claude"resolve_cache_dir() {  if [[ -n "${R2C_CACHE_DIR:-}" ]]; then    printf'%s'"$R2C_CACHE_DIR"    return  fi  local home="${HOME:-}"  local target=".r2c"  if [[ -n "$home" ]]; then    target="$home/.r2c"  fi  if mkdir -p "$target"2>/dev/null; then    printf'%s'"$target"    return  fi  local fallback="${PWD:-.}/.r2c"  mkdir -p "$fallback"  printf'%s'"$fallback"}CACHE_DIR="$(resolve_cache_dir)"HISTORY_DIR="$CACHE_DIR/logs/$CLIENT_TYPE/history"mkdir -p "$HISTORY_DIR"read_payload() {  if [[ -t 0 ]]; then    printf''    return  fi  cat || true}compact_json() {  local payload  payload="$(cat)"  if [[ -z "$payload" ]]; then    return 1  fi  if command -v python3 >/dev/null 2>&1; then    if printf '%s'"$payload" | python3 -c 'import json,sys;\nprint(json.dumps(json.loads(sys.stdin.read()), ensure_ascii=False, separators=(",", ":")))'2>/dev/null; then      return0    fi  fi  if command -v node >/dev/null 2>&1; then    ifprintf'%s'"$payload" | node -e "let data='';process.stdin.on('data',c=>data+=c).on('end',()=>{try{const parsed=JSON.parse(data);process.stdout.write(JSON.stringify(parsed));}catch{process.exit(1);}});"2>/dev/null; then      return0    fi  fi  if command -v jq >/dev/null 2>&1; then    ifprintf'%s'"$payload" | jq -c '.'2>/dev/null; then      return0    fi  fi  printf'%s'"$payload" | tr -d '\n' | tr -d '\r'  return0}PAYLOAD_RAW="$(read_payload)"PAYLOAD_RAW="${PAYLOAD_RAW//$'\r'/}"TRIMMED="$(printf '%s' "$PAYLOAD_RAW" | sed 's/^[[:space:]]*//;s/[[:space:]]*$//')"if [[ -z "$TRIMMED" ]]; then  exit0fiFIRST_CHAR="${TRIMMED:0:1}"LAST_CHAR="${TRIMMED: -1}"if
— 以上为试看内容(约 40%),开通会员后阅读全文 —