聊聊企业级Data+AI平台的性能评测基准TPCx-AI
前段时间,有朋友问到企业级Data+AI平台技术选型和性能评估的问题,今天向大家介绍一下解决这个问题的工具之一:TPCx-AI。无论是用户企业,还是提供企业数据平台产品的厂商,都开始关注传统企业数据平台是否具备满足用户使用要求的人工智能能力。AI能力,已成为企业数据平台的标配。这种Data + AI的组合,呈现出高度多样化的特点,这导致了行业需要标准化的方法和工具,帮助用户科学地比较不同厂商的Data+AI产品和系统,以选择最适合自己的解决方案。人工智能评测基准的发展
大概从2018年开始,研究人员和从业者已经开始构建面向AI领域的基准测试。这些开创性的工作,包括了基准数据集、微基准测试、基准测试套件、组件级基准测试和应用级基准测试。基准数据集在机器学习研究中有着较长的历史。其中一些著名的例子包括ImageNet和WordNet,以及各种ML数据集合,如UCI机器学习库、OpenML等。这些数据集可用于评估ML算法的准确性,但只有数据集,并不能提供对企业人工智能应用场景的完整评估能力。一些基准测试方案使用了这些数据集,例如MLBench和MLPerf。微基准测试是对基本的深度学习计算进行基准测试,如矩阵乘法、全局归约或卷积。比如DeepBench和SLAB,这些评测方案可以深入了解基础机器学习计算的底层性能,但这些结果同样不能反映实际部署中端到端的性能体验。MLPerf 是相对完整的基准测试套件,它包括训练和服务任务的度量标准。不足的是,MLPerf不包括数据加载、预处理或后处理阶段的评测设计。截至目前,TPCx-AI是唯一一个完整的企业Data+AI平台的行业标准基准测试,可以覆盖应用级别的、端到端的、机器学习和人工智能全部典型工作负载。
Transaction Processing Performance Council(TPC)是标准化评测的重要推动者,大家熟悉的数据库基准测试工具,比如TPC-H/TPC-DS,就是已经被广泛接受的成功实践。TPCx-AI是用于企业级Data+AI场景的、新的TPC Express性能测试基准,这也是业界第一个实现对端到端Data+AI解决方案进行标准化性能评测的行业基准。TPCx-AI提供了一个完整的软件套件,包括了数据生成器、驱动程序以及基于Python库和基于Apache Spark的完整工作负载实现代码。TPCx-AI起源于ADABench,2021年被TPC标准化。TPCx-AI的工作负载包括了10个企业Data+AI应用的典型用例,这些用例基于多样化的零售场景任务,涉及不同的数据类型和深度学习/机器学习模型,这些评测用例的设计,参考了麦肯锡公司的一项关于零售和其他垂直领域AI和ML技术潜在用例的研究论文。我们用表格总结了10个测试用例的数据表类型、预处理任务、模… — 以上为试看内容(约 40%),开通会员后阅读全文 —