"人类大脑是发现信息模式的最佳工具,计算机是管理海量数据的最佳工具。我们要做的,是找到两者的甜蜜点。"—— Palantir 早期官方白皮书
在大数据火热的时代,很多人把"Palantir"归入"大数据分析平台"的阵营,但这是一个不大不小的“正确的误解”。Palantir 的技术起点既不是批处理,也不是 OLAP,而是交互式图探索——让一个情报分析师在屏幕上拖拽实体节点,发现一个恐怖分子嫌疑人与一笔可疑汇款之间隐藏了三层中间人。它刚开始的的对标不是 Teradata,而是 i2 Analyst's Notebook 那样的链接分析工具。
理解这一点,才能理解 Palantir 后续二十年每一步架构选择背后的"为什么"。
1 PayPal 的遗产与后9/11的使命(2003–2008)
1.1 从反欺诈到反恐:一次思维方式的迁移
2002年,PayPal 以15亿美元卖给了 eBay。这场交易释放出了日后被称为"PayPal Mafia"的一批人——Peter Thiel、Max Levchin、Elon Musk、Reid Hoffman……而 Palantir 的故事,正是从 Thiel 在 PayPal 的经历开始的。
PayPal 早期面临的生死问题是欺诈。俄罗斯和尼日利亚的诈骗团伙每天从平台上抽走数百万美元。Levchin 团队构建了一套反欺诈系统,核心思路不是简单的规则引擎或异常检测,而是在看似无关的数据点之间找到隐藏的关联模式——一个注册邮箱、一个 IP 地址、一张信用卡号,这三者单独看都正常,但映射到一张关系图上,你会发现它们背后是同一个欺诈网络。
2001年9月11日之后,美国情报界面临了惊人相似的问题:CIA 有一份名单,FBI 有一条线索,NSA 有一段通信记录——但三个机构的系统互不联通,没有人把这些碎片拼成一张完整的图。9/11事后调查委员会的报告将此定性为"想象力的失败"(a failure of imagination)。
Thiel 看到了映射关系:PayPal 的反欺诈是在数据碎片中找关联,情报分析也是在数据碎片中找关联。区别只是一个抓骗子,一个抓恐怖分子。
2003年5月,Peter Thiel、Alex Karp、Stephen Cohen、Joe Lonsdale 和 Nathan Gettings 共同创立了 Palantir Technologies。Thiel 个人投入3000万美元,CIA 的风投臂膀 In-Q-Tel 成为早期投资者和第一个客户。
1.2 一个哲学家当 CEO
这里有一个值得停下来讲的细节:Palantir 的 CEO 不是工程师,也不是商人,而是一个在法兰克福大学拿了哲学博士学位的人——Alex Karp,研究新马克思主义理论的。
这个选择看似荒谬,但有其深层逻辑。Thiel 和 Karp 在斯坦福法学院时期就是朋友。Thiel 自己也是哲学出身,深受勒内·吉拉尔(René Girard)的"模仿欲望"理论影响。他们共同相信一件事:技术问题的核心往往不是技术,而是认识论——你如何理解世界,决定了你能构建什么工具。
Karp 面试工程师的方式也很著名:不看简历,不问算法题,在一个空调打到16度的房间里跟你聊10分钟维特根斯坦,看你如何拆解一个与工作完全无关的问题。Palantir 的早期工程师回忆说,公司入职时会收到四本书:Keith Johnstone 的《即兴》(Impro)、Lawrence Wright 的《巨塔杀机》(The Looming Tower,讲9/11的来龙去脉)、Steve Portigal 的《用户访谈》,以及 David Allen 的《搞定》(Getting Things Done)。
一本讲社交地位博弈,一本讲9/11情报失败,一本讲用户研究,一本讲执行力。这四本书几乎就是 Palantir 早期方法论的全部密码。
1.3 Gotham:第一代架构
2004年到2008年之间,Palantir 工程师驻场 CIA、NSA 和军方机构,与情报分析师肩并肩工作,迭代出了第一代产品 Palantir Gotham。
从一份保存在乔治华盛顿大学国家安全档案馆的早期官方白皮书中,我们可以还原 Gotham 的初始架构。它由四根支柱支撑:
支柱一:数据整合(Data Integration)
不是 ETL 到数据仓库的那种整合。Gotham 需要同时吃进结构化数据(数据库、Excel、CSV)、非结构化数据(PDF、Word 文档、XML)和媒体文件(图像、视频、生物特征数据),并且能联邦查询无法直接导入的外部数据源。在情报世界里,数据不是整整齐齐躺在 S3 里的 Parquet 文件,而是散落在几十个互不兼容的系统中的碎片。
支柱二:搜索与发现(Search & Discovery)
一个不需要任何查询语言知识的搜索界面——分析师用人类可读的方式描述要找什么,系统同时搜索所有数据源。关键创新是跨源联合搜索会自动暴露此前未知的关联:你搜一个电话号码,系统不仅返回通话记录,还自动高亮这个号码在另一个数据库的转账记录中出现过。
支柱三:协作(Collaboration)
这里 Palantir 引入了一个革命性的概念——Revisioning Database(版本化数据库)。每个数据对象在系统内部被表示为一摞卡片,每张卡片记录一次属性变更、变更者、变更时间、安全级别和来源。这个设计的灵感直接来自版本控制系统(类似 Git),但应用于情报数据。
它解决了一个关键矛盾:情报分析师需要一个私人空间来试探性地建立假设("我觉得 A 和 B 之间有联系"),但也需要在准备好之后把发现发布到全机构共享的知识库中。Revisioning Database 给每个分析师一个"虚拟私有空间",类似 Git 的分支,他们可以在里面自由探索,然后"发布"到企业级数据空间。
支柱四:知识管理(Knowledge Management)
Revisioning Database 不仅支持协作,还天然记录了所有分析活动的完整轨迹——谁在什么时候看了什么数据,建立了什么假设,连接了什么实体。这使得分析结论的溯源成为可能:你不仅可以看到"A 与 B 有关联",还能看到是谁发现的、依据了什么数据源、推理路径是什么。
1.4 Graph:Gotham 的灵魂
在这四根支柱之上,Gotham 最核心的分析界面是 Graph(图)。分析师在图上创建实体节点(人、组织、地点、事件),拖拽连线建立关系,系统自动布局。这不是仪表盘,不是报表,而是一张可以无限展开的关系网络。
Graph 旁边还有辅助应用:Map(地理空间分析)、Browser(浏览结构化与非结构化数据)、Dashboard(持久化搜索和调查管理)。但 Graph 是灵魂——它决定了 Palantir 从诞生之日起就把"关系"而非"数值"作为世界的基本建模单元。
1.5 Palantir Object Model 与 Dynamic Ontology
在架构底层,Gotham 使用了一个叫做 Palantir Object Model 的数据模型,由三种元素构成:
- Object(对象):容器,持有一组属性。比如一个"人"。
- Property(属性):对象的字段。比如"姓名"、"出生日期"。
- Relationship(关系):对象之间的连接。比如"友谊"、"转账"、"通话"。
每个属性和关系都可以溯源到原始数据来源(结构化或非结构化文档)。
在此之上,Palantir 引入了Dynamic Ontology(动态本体)——一个允许用户自定义"什么东西对我们的组织很重要"的配置层。白皮书原文写道:
"Palantir 不假定知道任何组织应该如何建模其信息。相反,Palantir 提供一个接口,让用户创建对分析任务有用的任何语义。Ontology 完全可定制,甚至可以在部署和数据导入之后修改。"
注意,这是2008年左右的文档。也就是说,"Ontology"这个词和"动态可配置"这个思想,从 Palantir 的第一代产品就已经存在了。它不是2016年 Foundry 发明的新概念,而是 Gotham 架构的原生基因。
这一点极其重要——它意味着 Palantir 从来不是一个"先有数据仓库、后来加了语义层"的平台,而是先有语义建模、再去接各种数据源的平台。数据为语义服务,而不是语义为数据服务。这个优先级在此后二十年从未改变。
2 "i2 事件" 与图式思维的技术传承(2005–2011)
2.1 与 i2 的恩怨
要理解 Gotham 的技术源流,不能回避一段公案。
i2 Group 是情报分析软件领域的老牌公司,其旗舰产品 Analyst's Notebook 几乎是冷战结束后全球情报机构的标配——一个桌面端的链接分析工具,让分析师手动画实体关系图。FBI、CIA、NSA、英国军情五处都在用。
2010年,i2 将 Palantir 告上法庭,指控后者以欺诈手段获取了 i2 的软件和技术文档。诉讼援引了 RICO 法(美国反敲诈勒索法),措辞极为严厉。具体指控是:Palantir 员工通过不正当渠道获取了 Analyst's Notebook 的软件副本,并据此开发了 Gotham 的"从 Analyst's Notebook 导入"功能。
2011年初,双方庭外和解,Palantir 向 i2 支付了1000万美金赔偿金,此案在媒体上被 Reuters 称为"Palantir 的第三个黑眼圈"。
2.2 这段公案的技术含义
这不只是一个法律故事。它深刻揭示了 Palantir 的技术谱系:
Palantir Gotham 的分析范式,本质上是 i2 Analyst's Notebook 的现代化重构。
i2 的 Analyst's Notebook 做的事情是:手动创建实体(人、车辆、银行账户)、手动连线、手动标注——纯粹的桌面端图探索。它的致命缺陷是不联网、不跨源、不协作、无法处理大规模数据。一个分析师画的图,另一个分析师看不到。
Palantir Gotham 做的事情是:用企业级的后端架构(联邦查询、版本化数据库、跨级别安全模型)把 i2 那种单机版图分析升级为多用户、多数据源、可协作的网络化平台。
i2 事件证明了这层渊源关系不是后人的推测,而是有据可查的事实。Gotham 的 Graph 应用界面甚至直接支持 .anb(Analyst's Notebook 原生格式)文件的导入。
这个谱系给我们一个关键洞察:Palantir 的技术 DNA 不是数据工程,而是分析师工具。它的起点是"让人看懂关系",而非"让机器处理数据"。后者是手段,前者是目的。
3 双轨时代与商业化的阵痛(2008–2016)
3.1 从情报到华尔街
Gotham 在情报界打开局面后,Palantir 开始寻求商业化。最早的商业客户来自华尔街——对冲基金和投行。这不难理解:金融领域同样需要在海量数据中发现隐藏模式。
但问题来了:情报分析和金融分析的数据范式截然不同。
情报分析处理的是实体关系图——人、组织、事件之间的关联。数据稀疏、异构、非结构化程度高。核心问题是"谁和谁有关?"
金融分析处理的是时间序列——股价、交易量、经济指标。数据密集、结构化、维度明确。核心问题是"这个数字意味着什么?"
Palantir 为此开发了第二条产品线 Metropolis,围绕时间序列和事件流构建。这是一个相对传统的数据分析产品,更接近人们通常理解的"数据平台"。
3.2 Forward Deployed Engineers:一种独特的技术扩散模式
在这个阶段,Palantir 发展出了它最具特色的组织模式:Forward Deployed Engineer(FDE,前线部署工程师)。
FDE 不是销售,也不是传统意义上的驻场实施顾问。他们是真正的软件工程师,每周3-4天在客户现场工作——在空客的图卢兹工厂里和装配工人一起看飞机怎么造,在医院里和护士一起看病历系统怎么用,在军事基地里和情报分析师一起看嫌疑人关系图怎么画。
一位在 Palan…