一、异构协同的核心：Host 与 Device 的分工与调度范式

在昇腾异构计算架构中，CPU（Host 端）与 AI 处理器（Device 端）形成互补协作：Host 擅长复杂逻辑处理与任务编排，Device 专注高并行计算加速。图引擎（GE）作为调度核心，提供两种核心模式适配不同场景：

1. 下沉调度：静态 Shape 的性能最优解

• 适用场景：输入 Tensor 形状固定的模型（如传统 CV 模型），编译阶段即可完成内存编排、Tiling 计算等预处理。

• 实现逻辑：Host 将整图一次性下发至 Device，执行时仅需下发一个触发指令，Device 自主完成所有算子调度。

• 核心优势：Host 侧调度开销极小，Device 端连续执行无中断，典型场景下调度性能提升显著。

2. Host 调度：动态 Shape 的柔性解决方案

• 适用场景：输入 Shape 不确定的模型（如大语言模型增量推理、NLP 动态 Batch 场景），需实时处理算子形状推导与资源分配。

• 实现逻辑：将单个算子拆分为 InferShape、Tiling、AllocMemHbm、Launch 等多个 Host Kernel，按执行图顺序逐一下发，Host 与 Device 异步协同。

• 关键挑战：Host 下发速度与 Device 执行速度的不匹配，可能导致 Device 空闲（Host Bound）或 Host 阻塞（Device Bound）。

二、调度瓶颈的精准识别：Host Bound 与 Device Bound

昇腾通过 Profiling 工具建立双边界判断体系，为优化方向提供数据支撑：

调度边界类型	核心特征	性能瓶颈	优化重点
Host Bound	Host 下发速度 < Device 执行速度	Device 频繁空闲，E2E 耗时取决于 Host 调度耗时	提升 Host 下发效率，减少 Kernel 执行开销
Device Bound	Host 下发速度 > Device 执行速度	Host 等待 Device 反馈，执行队列堆积	优化 Device 端算子并行度，提升计算效率

典型案例：LLaMA-7B 模型推理场景中，Host 调度模式下 Device 计算与空闲时间比接近 1:1，属于典型 Host Bound 模型，亟需通过调度优化压缩 Device 空闲窗口。

三、Host 侧调度优化的三大核心技术密码

针对动态 Shape 场景的 Host Bound 问题，昇腾通过三层技术创新实现调度效率跃升：

1. 缓存复用技术：空间换时间的极致体现

• 核心逻辑：对 Tiling 计算、内存分配等耗时操作的结果进行缓存，通过 HashKey 动态匹配复用场景（HashKey 由输入 Shape、数据类型等执行时参数生成）。

• 量化收益：Pangu、LLaMA2 等大模型的 Host 侧 Tiling 开销降低 50% 以上，38B 量化模型的端到端性能提升尤为显著。

• 智能特性：仅缓存执行时可变参数，编译时固定参数直接复用，平衡缓存命中率与内存开销。

2. 多核并发与流水线架构：突破单线程瓶颈

• 三级流水设计：

• • 一级流水（普通线程）：处理 InferShape、Tiling 等无 Device 依赖的计算任务；

• • 二级流水（内存线程）：负责 HBM 内存分配、地址映射等资源管理；

• • 三级流水（Launch 线程）：完成算子 Kernel 下发与执行状态回调。

• 并发加速原理：前一个算子的 Device 执行与后一个算子的 Host 下发并行进行，最大化 CPU 核心利用率，缩短任务链总耗时。

3. 模型下沉调度：静态场景的终极优化

• 技术本质：将 Host 侧的调度预处理工作全部转移至编译阶段，执行时仅需下发 "模型启动指令"，Device 按预编排的执行流自主运行。

• 两阶段执行：

1. 1. 模型加载（一次性开销）：编译时完成整图算子下发、内存编排、Tiling 计算，算子 Task 常驻 Device 流；

1. 1. 模型执行（低开销触发）：多次运行时仅需下发输入输出地址更新指令，Device 直接执行预加载的 Task 链。

• 颠覆性收益：

• • LLaMA-7B 模型推理吞吐量提升 37%，端到端耗时减少 18ms；

• • 集群场景下 Rank 间通信抖动降低，CPU 负载减少 30% 以上；

• • Device 空闲时间几乎清零，资源利用率逼近理论上限。

四、调度模式的智能选择与落地建议

1. 场景适配原则：

• • 静态 Shape 模型（如 ResNet、YOLO）：优先采用下沉调度，最大化降低 Host 开销；

• • 动态 Shape 模型（如 LLaMA、GPT）：启用 Host 调度 + 缓存 + 多核并发优化，或通过 Shape 固定化改造（如动态 Batch 转静态）适配下沉调度。

1. 性能调优路径：

• • 第一步：通过 Profiling 工具判断调度边界类型（Host/Device Bound）；

• • 第二步：Host Bound 模型优先启用缓存复用与多核并发，静态化改造可行场景采用下沉调度；

• • 第三步：监控缓存命中率与 CPU 核心利用率，动态调整缓存大小与流水线程数。

五、技术演进方向

昇腾 Host 侧调度正朝着 "智能感知 - 自适应优化" 方向发展：未来将通过 AI 预测输入 Shape 变化趋势，动态调整缓存策略与流水深度；同时强化跨节点调度协同，解决集群场景下的 Host 下发时序同步问题，进一步释放异构计算潜能。

2025年昇腾CANN训练营第二季，基于CANN开源开放全场景，推出0基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机，平板、开发板等大奖。

报名链接:https://www.hiascend.com/developer/activities/cann20252