Token易测，行动难量：Arm为智能体AI时代重写CPU性能标尺

大模型时代，AI性能几乎是一道“送分题”：每秒生成多少Token、每瓦电换回多少Token、每美元买到多少Token，三个指标足以给任何芯片打分。但当AI从“生成内容”走向“自主执行”，当智能体开始替你写代码、查数据库、订行程、操作机器人，这道题忽然不会做了——Token只是AI“想”出来的，智能体时代真正考验的，是AI能否把Token变成真实世界里的行动。衡量标尺，该换了。

CPU重回“C位”，考卷却变了

在智能体AI出现之前，AI领域主要以Token生成来衡量性能，即每秒Token数、每瓦Token数和每美元Token数。近日，Arm云AI解决方案架构总监Ravi Malhotra点破了这一转折：“智能体AI改变了这一点：它要求生成的Token能够在真实世界中得到切实应用。”评估的视角，必须从Token转向智能体及其执行的任务。

任务结构的变化，直观反映在基础设施上。Ravi把智能体任务拆成两半：一半是Token生成，即推理与规划，通常运行在AI机架上，拼的是大规模生成Token的能力，以及为智能体上下文和数据解读提供充足的内存与存储资源；另一半是基于Token采取行动，即工具调用与编排，通常运行在纯CPU服务器上——构建代码、测试代码、访问Web服务器和数据库，都落在这半边。关键问题随之而来：什么样的CPU，才能更好地承载这类工作负载？

答案并不统一。“没有两个智能体是完全一样的。”软件开发智能体要长时间编译、测试代码，消耗大量CPU周期，单个智能体的性能至关重要；而个人助理、企业运营中的单次操作往往转瞬即逝，但操作数量庞大，反而对吞吐量和运行效率提出更高要求。软件工程、企业自动化、科学研究（如金融分析）、个人助理、机器人，这五类主流用例，分属五副不同的CPU“性格”。这正是旧评估体系失灵的原因：只盯Token、只测单核峰值，既测不出工具调用与编排的并发压力，也测不出大量智能体同时在线时的真实表现。

在Ravi看来，CPU在智能体时代的关键任务分为三类：把已经生成的Token转化为行动；为Token生成环节的数据搬运与存储提供支撑，让数据尽快送达运行模型的加速器；以及完成编排与沙箱隔离，把Token生成与行动连接成完整的端到端流程。角色变了，衡量它的尺子，自然也不能再用旧的。

一份白皮书，两把新尺子

旧尺子失灵，就需要新方法论。近日，Arm发布《智能体AI时代如何定义CPU与软件栈性能》白皮书，并获得富士通、Meta和OpenAI的支持。据Ravi介绍，这套方法论由两个层面构成，缺一不可。

第一层是组件基准测试。把智能体工作流拆成工具调用、编排、推理与规划三大组件，分别用nginx、MySQL、Milvus、vLLM、fastText等代表性工作负载测试。组件不同，对CPU的考验也不同：工具调用侧重IPC（每周期指令数）、I/O和并发；编排更强调CPU并发与利用率；推理与规划中CPU充当头节点，考验的是分支预测、缓存、内存延迟与内存带宽等单线程性能。但组件基准只能看清“零件”，看不到“整机”——这就要靠第二层。

第二层是端到端智能体基准测试。用SWE-bench、Terminal-Bench等由行业领军企业与顶尖高校推出的智能体基准测试，衡量完整智能体工作流的可扩展性与并发性。Ravi特别强调“持续性能”：性能评估不能只看单颗CPU上运行尽可能多的智能体，也不能单纯追求最高吞吐量，而要在吞吐量与SLA（服务等级协议）之间取得平衡。以软件开发为例，每个核心运行一到两个智能体可能已经足够，继续增加并发量，可能无法满足SLA要求；企业运营、个人助理类工作负载则能支撑更多并发。

“Arm提出的是一套评测方法论，而非正式的行业标准或单一基准测试，旨在为业界提供一个切实可行的起点。”Ravi这样为白皮书定位。而Signal65随后发布了一份独立分析报告，展示了这套方法论在所选工作负载中的一次实践应用。

机架级约2倍性能，新标尺的价值不止于分数

报告对比了Arm AGI CPU与第五代AMD EPYC（霄龙）处理器（代号Turin、型号 9755）：在相同功耗预算下，Arm AGI CPU在智能体工作负载上的每机架性能约为对比平台的1.99倍。拆开看，工具调用类为1.7倍，推理与规划类（向量数据库、缓存等）为2.2倍，端到端智能体工作流为2倍；分项测试中，fastText达3.19倍，SWE-bench为2倍；每核及CPU SoC层面的性能也平均高出约20%。

为什么以“机架”为计量单位？“客户在数据中心里部署和使用的是整个机架，而不仅仅是单颗 CPU。”Ravi解释，只对比单颗芯片，无法衡量能效、内存利用效率、服务器成本和功耗这些关键变量。“AGI CPU的优势不在于打造规格最高的CPU，而在于兼顾核心层面的性能、服务器层面的可扩展性和机架层面的效率。”正是“单芯片性能、较低的服务器额定功耗和更高的机架部署密度共同作用，叠出了约2倍的机架级性能优势。

这份效率并非凭空而来。低功耗向来是Arm CPU设计的核心，也是其30多年来的优势所在。Ravi介绍，自2018年推出Neoverse系列并与超大规模云服务提供商紧密合作以来，Arm持续针对云端关键工作负载打磨微架构，从Neoverse N1一路走到Neoverse V3——后者正是Arm AGI CPU的核心；而其设计原则始终如一：提升性能，不以增加功耗为代价。

新标尺的价值，还落在真金白银上。智能体出于数据与隐私考虑，必须在隔离的沙箱中执行，而创建沙箱的耗时即便以毫秒计，影响也相当可观。实测中，Arm AGI CPU的沙箱冷创建时延仅为对比平台的55%，在2倍、4倍超额订阅的极端并发下，P99时延同样大幅领先。“沙箱开销越低，系统在相同时间内能够处理的客户支持工单就越多，进而提升整体效率并降低单个任务的成本。”Ravi以企业运营场景算了这笔账。

更深一层，新方法论把行业从“唯分数论”拉回“按用例选型”：不必为五类用例设定权重，而是先判断自己的用例属于哪类原型，再选择对应的端到端基准与组件。“对于大部分市场来说，需要的是一个均衡的选择：一款能够在性能、可扩展性和效率之间取得平衡的CPU。”这句话几乎是Arm全部动作的注脚——白皮书、Signal65报告，加上与超微、联想、华擎合作推出的多种服务器与机架形态，都只是这套答案的开头。这场关于CPU性能的重新定义，才刚刚开始。