Apache Ossie:从 OneData 到 AI,语义层为什么需要开放交换标准
过去几年,数据团队一直在追一个目标:让业务指标有统一口径。
但现实往往不太理想。
同一个「收入」,在财务报表里是一种算法,在 BI 看板里是另一种算法,在数据科学 notebook 里又变成第三种算法。到了 AI Agent 时代,问题更复杂:大模型要回答业务问题,必须理解数据表、字段、关系、指标、时间口径和业务同义词。如果这些定义分散在不同工具里,AI 看起来很聪明,实际很容易答出一套「听起来合理但口径错误」的结果。
Apache Ossie 正是在这个背景下出现的。
它不是要再做一个 BI 工具,也不是要替代 dbt、Snowflake、Databricks、Salesforce、GoodData 或其他语义层产品。它要解决的是更底层的一件事:给语义模型一个开放、中立、可交换的表示格式。
简单说,Ossie 想成为 AI、BI、数据目录和语义层工具之间的「语义交换标准」。
如果放到国内数据团队更熟悉的语境里,它和 OneData、指标体系、数据资产目录、企业 Wiki 其实在回答同一个问题:
组织里的业务语义,应该沉淀在哪里,又如何被系统真正使用?
一、真正的问题不是没有语义层,而是语义层彼此不通
今天的数据栈已经非常丰富。
数据仓库有自己的建模方式,BI 工具有自己的语义层,数据目录有自己的资产描述,AI 分析工具又需要额外的业务上下文。每个系统都在努力描述「业务数据是什么意思」,但它们的描述方式并不统一。
这会带来四类典型问题。
第一,指标漂移。
一个 KPI 在不同工具里重复定义。只要一个地方改了,其他地方没有同步,数字就会慢慢分叉。最后会议上大家争论的不是业务本身,而是「为什么你那边的收入和我这边不一样」。
第二,人工翻译成本高。
当团队要从一个平台迁移到另一个平台,或者让多个工具共享同一套语义定义时,通常需要工程师手动翻译字段、指标、关系和权限上下文。这类工作繁琐、容易出错,而且很难长期维护。
第三,AI 缺少可靠 grounding。
AI Agent 做数据分析时,不应该直接猜表名和字段含义。它需要知道哪些字段是维度,哪些指标可以聚合,哪些表之间可以关联,「GMV」「销售额」「收入」这些业务词到底指向哪个指标。如果语义定义互相冲突,AI 不是没有答案,而是会给出不可信的答案。
第四,集成债越来越重。
假设有 N 个语义层或分析工具,如果每两个工具之间都做点对点转换,理论上需要 N × (N - 1) 条转换路径。工具越多,连接越复杂,维护成本越高。
Ossie 的判断是:与其让每个工具两两互通,不如先定义一个共同格式。每个工具只需要能导入和导出 Ossie,就可以通过它和其他工具交换语义模型。
这就是典型的 hub-and-spoke 模式:Ossie 是 hub,各个工具是 spoke。
二、Ossie 到底定义了什么
从项目结构看,Apache Ossie 的核心是一套 JSON / YAML 格式的语义模型规范。
它关心的不是数据怎么存,也不是 SQL 怎么执行,而是把业务语义抽象成一组可以被工具读取、验证、转换的结构。
Ossie 的核心模型主要包含几类对象。
Semantic Model 是最顶层的容器,用来描述一个完整语义模型。
Datasets 表示逻辑数据集,可以理解为业务实体或事实表、维度表,例如 orders、customers、store_sales。它们会指向底层物理表、视图或查询来源,并声明主键、唯一键和字段。
Fields 表示数据集内的行级字段,可以是简单列引用,也可以是计算表达式。字段可以标注数据类型,也可以标注是否是时间维度。
Relationships 描述数据集之间如何关联,支持简单外键,也支持复合键。
Metrics 表示业务指标,例如 total_revenue、average_order_value、customer_lifetime_value。指标定义在模型级别,可以引用多个数据集。
AI Context 是一个很值得注意的设计。Ossie 允许在模型、数据集、字段、关系和指标等层级添加 AI 上下文,例如业务说明、同义词、示例问题和使用指令。这说明它不是只面向传统 BI,也是在为 AI Agent 使用语义模型做准备。
Custom Extensions 则负责保留厂商特有信息。不同平台一定会有自己的额外配置,Ossie 不试图把所有厂商能力都塞进核心规范,而是允许通过 vendor_name + JSON data 的方式保留扩展信息。
这点很关键。
一个开放标准如果只追求最小公约数,很容易丢失实际生产系统里的重要信息;如果什么都标准化,又会变得庞大而迟缓。Ossie 的做法是:核心语义尽量统一,厂商差异通过扩展携带,并在转换过程中尽量保留。
换句话说,Ossie 不是一份给人看的说明书,而是一份给系统看的语义契约。
三、一个简单的 Ossie 模型长什么样
Ossie 使用 YAML 会比较直观。一个简化后的模型大概像这样:
version: "
semantic_model:
- name: sales_analytics
description: Sales and customer analytics model
ai_context:
instructions: "Use this model for sales analysis"
datasets:
- name: orders
source: sales.public.orders
primary_key: [order_id]
fields:
- name: order_date
expression:
dialects:
- dialect: ANSI_SQL
expression: order_date
datatype: Date
dimension:
is_time: true
- name: amount
expression:
dialects:
- dialect: ANSI_SQL
expression: amount
datatype: Decimal
metrics:
- name: total_revenue
expression:
dialects:
- dialect: ANSI_SQL
expression: SUM(orders.amount)
datatype: Decimal
ai_context:
synonyms:
- "revenue"
- "total sales"这段 YAML 里有几个细节值得看。
首先,字段和指标的表达式支持 dialects。也就是说,同一个字段可以同时携带 ANSI_SQL、SNOWFLAKE、DATABRICKS、BIGQUERY 等不同方言的表达式。目标平台转换器可以优先选择自己的方言,如果没有,再回退到 ANSI_SQL。
其次,datatype 和 dimension.is_time 被分开处理。一个字段的数据类型是 Date,不代表它一定应该在分析界面里作为时间轴使用;一个 Integer 类型的年份字段,也可能被显式标记为时间维度。这种「类型」和「角色」的分离,对跨工具转换很重要。
再次,ai_context 不是只放在顶层,而是可以放在多…