RAG处理表格数据——Table RAG让我把Excel变成了知识库

上周有个朋友找我帮忙。

他们公司做财务分析,几十个Excel表格堆在共享盘里。老板说"搞个AI助手,我问什么它能直接查表回答"。

他想当然地用了标准RAG流程:把Excel转成文本 → 分块 → 向量检索 → 丢给LLM。

结果呢?问"2024年Q3华东区销售额",返回的是2023年Q2华北区的数据。问"毛利率最高的产品线",LLM直接开始编。

表格数据搞RAG,这是公认的坑。纯文本分块会把表格结构彻底打散——一行数据被切成两半,列名和值分到不同的chunk里,检索出来的东西就是垃圾。

后来我换了Table RAG方案,准确率从不到40%拉到85%以上。今天把整个过程拆开讲。


标准RAG为什么处理不了表格

先说清楚问题出在哪。

表格数据有结构——行、列、单元格之间有明确的关联关系。"华东区"对应"Q3"对应"销售额127万",三者是一个整体。

标准RAG的分块策略是按token数切的。一个500 token的chunk可能包含表格的15行半。第16行的"华东区"被切到了下一个chunk,但它对应的列名"Q3销售额"在上一个chunk里。

检索时,用户问"华东区Q3销售额",向量相似度匹配到了包含"华东区"的chunk——但那个chunk里没有列名信息。LLM拿到了一堆数字,不知道哪个数字对应哪个列,只能猜。

猜错了,就是幻觉。


Table RAG的核心思路

Table RAG不是简单地把表格转文本,而是保留表格的结构信息,用多种粒度进行检索。

核心分三步:

1. 表格解析: 把Excel/CSV解析成结构化对象(行、列、数据类型),而不是一坨文本。

2. 多粒度索引: 为表格建立多个层级的索引——表级摘要、列级描述、行级数据。

3. 混合检索: 用户的query同时匹配文本索引和表格索引,把检索到的表格片段和文本一起喂给LLM。


实战:用LlamaIndex + pandas搞定

先看最核心的表格解析和索引构建:

import pandas as pd
from llama_index.core import Document, VectorStoreIndex
 
# 第一步:解析Excel
df = pd.read_excel("financial_data.xlsx")
 
# 生成表级摘要
table_summary = f"""
表名: {df.columns[0]}所在的财务数据表
行数: {len(df)}
列: {', '.join(df.columns.tolist())}
数据范围: {df.iloc[:, 0].min()} ~ {df.iloc[:, 0].max()}
"""
 
# 为每一列生成列级描述
column_summaries = []
for col in df.columns:
    col_summary = f"列名: {col}, 类型: {df[col].dtype}, 示例值: {df[col].iloc[:3].tolist()}"
    column_summaries.append(col_summary)

这段代码做了两件事:把表格结构化保留住,同时生成人类可读的摘要。

然后是关键的…

— 以上为试看内容(约 40%),开通会员后阅读全文 —