AI 算子开发进入"可量化"时代

2026 年 7 月 17日，CANN开源社区联合深圳河套学院及南京大学共建的昇腾算子公开评测平台 CANN-Bench 正式上线对外开放。

同时，首个面向 AI 自动生成 Ascend C 算子代码的公开 Leaderboard 排行榜同步上线，标志着 CANN 生态从"能写算子"正式迈入"可量化评测算子"的新阶段。

随着大语言模型（LLM）和 AI Agent 技术的爆发式发展，模型已经能够直接编写昇腾算子代码——从最基础的 Elementwise 操作，到业界公认的高难度 FlashAttention 实现，AI 正在以前所未有的速度降低算子开发的技术门槛。

但一个关键问题随之浮出水面：

哪个模型写的算子更好？哪个 Agent 产出的代码更可靠？是在某个 case 上"碰巧过了"，还是真正具备了稳定、高效的算子编写能力？

CANN-Bench 正是为解决这一核心难题而生。它将此前开源的 CANN-Bench 评测体系从"本地命令行工具"升级为"在线公开平台"，面向全行业提供一套标准化、透明化、可横向对比的 AI 算子能力评测服务。

一、核心能力一：Leaderboard 公开榜单——让 AI 算子公平竞技

CANN-Bench 的第一大核心功能是 Leaderboard 公开榜单。每一位开发者、每一支团队都可以在平台上提交submission，用于完成一个或者多个L1~L4的标准评测任务。平台将输出标准化评测报告，并在榜单上公开展示。

榜单具备以下核心能力：

• 按难度等级独立排名（L1/L2/L3/L4），兼顾入门级算子验证与行业极限挑战，不同层次的参与者都能找到自己的对标位置

• 按模型/Agent 名称灵活筛选，开发者可以快速定位自己关心的参赛模型，进行横向对比

• 编译、精度、性能三维度拆解展示，开发者不仅能看总分，更能一眼看清模型在哪个环节存在短板——是编译老出错？精度不达标？还是性能拖了后腿——强弱项一目了然

二、核心能力二：标准化评测流——从本地到云端，一脉相承

CANN-Bench 平台承载的绝不是一套"黑盒打分系统"。所有提交任务均搭载与开源 CANN-Bench 代码仓库完全同源的评测引擎。全体参评算子统一遵循一套公开可查的标准化打分规则，确保每一次评测的基准完全一致。

具体来说，每个提交都会经历三大维度的严格审视：

（1）编译正确性

算子在 Atlas A3 / Ascend 950PR 芯片上能否一次性编译通过？作为算子能够在硬件上运行的基础前提，编译不通过意味着代码本身存在根本性问题。CANN-Bench 对此采取"零容忍"策略——一次编译失败，该批次所有相关算子得分为零，同时自动生成详细的编译错误日志，供开发者精准定位问题。

（2）精度通过率

精度评测采用的是业界领先的 ULP（Unit in Last Place）误差分析体系，绝非简单的"误差小于多少就通过"。

• 正常值域：同时计算平均相对误差（MERE）和最大相对误差（MARE），对 float16 数据以 1ULP 为标准阈值、10ULP 为最大阈值，两项交叉验证，任何一项超标即判定不通过

• 小值域：当算子输出接近 0 时，传统相对误差公式存在数值不稳定问题，CANN-Bench 使用专用小值域判定逻辑，避免"理论无问题、数值误报错"

• 特殊值场景：Inf、NaN 等特殊浮点值以及量化数据场景下，自动切换为精确匹配或专用对比算法

• 相消场景：针对大数相减产生小数的经典精度陷阱，引入同精度 CPU 参考对照机制进行精准判断

（3）极致性能

性能评测以硬件理论极限为锚点，采用独创的 HAP（Hardware-Anchored Performance）评分公式。该公式将候选算子的实际耗时与算子在 Ascend NPU 芯片上的理论性能上限进行对比，从根本上消除了传统评测中"选一个慢基线就有高加速比"的投机空间。

三、核心能力三：项目管理与历史追踪——每一次进步都被记录

在 CANN-Bench 平台上，每一次提交都会被完整保存在你的账户下，构成一条可回溯的时间线。

平台支持按模型、Agent、时间周期等维度进行交叉对比，甚至可以用于模型训练效果的 AB 对照实验。同样的算子需求，新版本模型比旧版本提升了多少分、在哪个难度等级上进步最大——数据说话，一目了然。

四、核心能力四：覆盖全真实场景算子生成任务的基准评测集

CANN-Bench 平台上线首期，已内置全量基准评测集 Official-Tasks 与 快速验证评测集 Micro-Official-Tasks。这些算子全部来自真实业务场景中的典型需求，按实现难度科学划分为四个等级：

等级	类型	典型算子举例
Level 1	基础级	Exp, Gelu, Sigmoid, Mish
Level 2	进阶级	Softmax, Gather, Scatter, DynamicQuant
Level 3	专家级	MoeReRouting, Conv2D, Unique
Level 4	大师级	FlashAttention, LSTM, GRU

全量基准评测集覆盖了超过 50 个典型算子，从单输入单输出的基础的向量计算，到需要精细调度 Cube 与 Vector 单元的复杂 Attention 融合算子，足以对任何一个 AI 模型或 Agent 框架进行一次"全身 CT"式的全面能力扫描。

快速基准评测集则是为了响应开发者快速验证需求，从全量基准评测集中按维度抽样典型算子，能够快速对AI 模型或 Agent 框架能力摸查。

未来，CANN-Bench 平台将持续扩充评测集，增加更多细分场景与垂直领域的独立榜单，覆盖PyPTO、TileLang等更多开发方式， 扩展至MC2、量化推理等更多前沿方向。

五、从开源到共建，CANN-Bench 的生态底色

CANN-Bench 背后的整个评测体系完全开源，代码仓库托管于 GitCode，任何开发者都可以自由查阅、本地构建、按需定制。

开源仓库地址：https://gitcode.com/cann/cann-bench

详细文档（快速入门 / 评测规范 / 工程设计）：https://gitcode.com/cann/cann-bench/tree/master/docs

这一开放策略意味着：

• 平台上的每一个评分公式、每一个精度标准、每一个性能锚点，都可以在开源仓库中找到源码级实现——不存在任何"后台黑箱"

• 任何开发者都可以在本地复现平台的每一次评测，验证结果的可信度

• 社区开发者可以贡献新的评测任务、提出新的评测维度、优化评分算法——CANN-Bench 不只是"一个平台"，更是一个持续演进的评测生态

我们始终坚信：只有算法公开、标准公开、结果公开，评测才有真正的公信力。

六、三步上手：从零到榜单

### 第一步：准备好你的算子工程

如果你已经用 AI Coding 工具（如通用 code agent、LangGraph Agent 等）生成了一套 Ascend C 算子代码，可以参考 CANN-Bench 开源仓库中的工程样例（ACLNN launch 或 Direct launch），按照标准工程结构组织你的项目目录，确保 `build.sh` 能够正确编译。

### 第二步：将工程打包并提交

将生成好的算子代码适配到脚手架模板后，打包 example 目录内的文件，让 build.sh、setup.py、cann_bench/ 位于 zip 根目录，即可通过平台提交入口上传。

### 第三步：等待评测并查看榜单排名

提交后，CANN-Bench 平台会自动调度评测任务，在你的代码运行在昇腾芯片上完成编译、精度验证和性能采集。整个流程耗时从几分钟到几十分钟不等（取决于算子复杂度与任务排队情况）。评测完成后，你可以在平台上查看完整的评测报告，以及该次提交在当前榜单上的实时排名。

CANN-Bench 要做的是一次对 AI 在昇腾算子生成领域真实能力的全面检阅，一场对昇腾芯片极限性能的持续逼近。

比拼的，不只是"写代码"的能力，更是挖掘昇腾芯片全部潜力的真实水准。

CANN-Bench，7 月 17 日见。