---

1 -> 概述：鸿蒙6.0 CANN Kit面向PC的大语言模型推理能力开放

鸿蒙6.0（HarmonyOS 6.0）在AI能力层面迎来了一次重要升级——CANN Kit（CANN异构计算框架服务）正式面向PC/2in1设备开放大语言模型（LLM）推理API。这意味着开发者可以在鸿蒙PC生态中，以标准化接口调用端侧的大模型推理能力，而无需从零构建复杂的推理框架。

CANN LM Engine是CANN Kit在大语言模型场景下的具体实现，它基于CANN异构计算框架，为大模型业务提供计算链路的加速封装和计算加速服务。此次针对PC设备的开放，标志着鸿蒙在端侧AI领域从“能做”走向“好用”的关键一步——不仅提供了API，更提供了一整套从模型量化、转换到推理部署的完整工具链。

从系统能力层面看，LLM推理API归属于SystemCapability.AI.CANN.LLMEngine，起始版本为6.1.1(24)。开发者通过引用<CANNKit/llm_engine.h>头文件，并链接新增的libcann_llm_engine.so动态库，即可在PC设备上集成大语言模型推理能力。

2 -> CANN LM Engine的核心定位与价值

2.1 -> 什么是CANN LM Engine

CANN LM Engine是基于CANN Kit的大语言模型推理解决方案。它并非一个简单的推理接口封装，而是一个端到端的计算链路加速方案。其核心价值在于：让开发者无需关心底层NPU/GPU/CPU的异构调度细节，通过统一的API即可获得硬件加速带来的性能收益。

CANN LM Engine的定位可以概括为三个层次：

• 接口层：提供标准化的LLM推理C API，屏蔽底层硬件差异。
• 加速层：实现计算链路的全流程加速，包括多步骤高效串联、内存复用、数据零拷贝等。
• 工具层：提供模型量化、格式转换、NPU亲和适配等配套工具链。

2.2 -> 为什么选择PC设备作为开放起点

PC设备相较于手机、平板等移动设备，具备更充裕的计算资源、内存带宽和散热能力，更适合承载大语言模型这类计算密集型任务。鸿蒙6.0选择在PC/2in1设备上首发LLM推理API，体现了以下几个考量：

• 硬件基础成熟：Kirin X90平台已具备完善的NPU加速能力。
• 场景需求明确：PC端的知识助手、文档理解、代码辅助等场景对大模型推理有强烈需求。
• 生态示范效应：PC是开发者最常用的工作设备，开放API有助于快速积累开发者生态。

3 -> CANN LM Engine的组件架构

CANN LM Engine由四个核心组件构成，形成从模型准备到推理运行的完整闭环：

3.1 -> CANN LM Engine（推理引擎核心）

这是整个解决方案的核心运行时组件，为大模型业务提供基于计算加速服务和标准化API接口的端到端计算链路加速封装。它负责：

• 模型的加载与初始化
• 推理请求的调度与执行
• 计算资源的分配与管理
• 多步骤计算链路的高效串联

3.2 -> CANN工具链（模型准备工具集）

工具链负责将开发者训练的原始模型转换为可在CANN硬件上高效运行的格式。主要包括：

• OMG（Offline Model Generator） ：离线模型转换工具，支持将Caffe、TensorFlow、ONNX、MindSpore等框架的模型转换为昇腾/麒麟架构的离线模型（.om格式）。
• 模型量化工具：支持将FP32/FP16模型量化为INT8/INT4等低精度格式，降低内存占用和功耗。
• Ascend C：华为昇腾、麒麟AI处理器提供的C++算子开发接口，用于自定义算子开发。

3.3 -> CANN LM Engine DEMO（参考示例）

提供端到端的调用参考范例，帮助开发者快速理解API的使用方式和集成流程。

3.4 -> CANN硬件（加速底座）

基于NPU/GPU/CPU的异构计算平台，提供实际的算力支撑。其中NPU是核心加速单元，专门针对矩阵乘、注意力机制等大模型核心算子进行了硬件优化。

4 -> LLM推理API详解

4.1 -> API概览

LLM推理API定义在llm_engine.h头文件中，主要包含以下核心类型和函数：

4.1.1 -> 核心类型定义

类型	描述
HMS_LLMEngine_Context	LLM引擎上下文，管理推理会话状态
HMS_LLMEngine_Executor	LLM引擎执行器，负责推理任务的调度执行
HMS_LLMEngine_Prompt	LLM引擎文本输入，封装用户输入的提示词
callbackFunctionType	生成回调函数，用于流式输出场景

4.1.2 -> 核心函数

函数	描述
HMS_LLMEngineExecutor_CreateFromExecutorJson	通过JSON配置文件创建LLM引擎执行器句柄
HMS_LLMEngineContext_CreateFromContextJson	通过JSON配置创建LLM引擎上下文
HMS_LLMEngine_Context_Destroy	销毁LLM引擎上下文，释放资源

4.2 -> API设计特点

从API设计上看，CANN LLM Engine采用了配置驱动的设计模式——执行器和上下文的创建均通过JSON配置文件完成。这种设计的优势在于：

• 解耦配置与代码：模型路径、推理参数（如温度、top_p、最大生成长度等）可在JSON中灵活调整，无需重新编译代码。
• 降低接入门槛：开发者无需理解复杂的参数结构体，只需按规范填写JSON配置即可。
• 便于多模型管理：不同模型可通过不同配置文件进行管理，实现模型的热切换。

4.3 -> 代码示例：创建LLM引擎执行器

以下示例演示了如何通过JSON配置文件创建LLM引擎执行器：

#include <CANNKit/llm_engine.h>
#include <stdio.h>

// 通过JSON配置文件创建LLM引擎执行器
HMS_LLMEngine_Executor* CreateExecutor(const char* jsonConfigPath) {
    // jsonConfigPath指向包含模型路径、推理参数等配置的JSON文件
    HMS_LLMEngine_Executor* executor = 
        HMS_LLMEngineExecutor_CreateFromExecutorJson(jsonConfigPath);
    
    if (executor == NULL) {
        printf("Failed to create LLM engine executor from JSON: %s\n", jsonConfigPath);
        return NULL;
    }
    
    printf("LLM engine executor created successfully.\n");
    return executor;
}

4.4 -> 代码示例：创建推理上下文并执行推理

#include <CANNKit/llm_engine.h>
#include <stdio.h>
#include <string.h>

// 回调函数：处理流式生成的每一个token
void OnTokenGenerated(const HMS_LLMEngine_Context* ctx) {
    // 从上下文中获取当前生成的token文本
    // 实际实现中需调用具体的getter接口
    printf("Token generated\n");
}

void PerformInference(HMS_LLMEngine_Executor* executor, const char* prompt) {
    // 1. 创建推理上下文
    HMS_LLMEngine_Context* ctx = 
        HMS_LLMEngineContext_CreateFromContextJson("context_config.json");
    if (ctx == NULL) {
        printf("Failed to create inference context.\n");
        return;
    }
    
    // 2. 设置输入提示词
    HMS_LLMEngine_Prompt inputPrompt;
    inputPrompt.text = prompt;
    inputPrompt.length = strlen(prompt);
    
    // 3. 设置回调函数（用于流式输出）
    // 注意：实际API中回调设置方式请参考最新文档
    // HMS_LLMEngineContext_SetCallback(ctx, OnTokenGenerated);
    
    // 4. 执行推理（具体执行函数名请参考API文档）
    // HMS_LLMEngineExecutor_Run(executor, ctx, &inputPrompt);
    
    // 5. 等待推理完成，获取结果...
    
    // 6. 清理资源
    HMS_LLMEngine_Context_Destroy(&ctx);
}

5 -> 计算链路的加速封装机制

CANN LM Engine最核心的技术价值在于其计算链路的加速封装。这一机制并非简单地将多个计算步骤拼接在一起，而是从系统层面进行了全链路的性能优化。

5.1 -> 多步骤高效串联

大语言模型的推理过程包含多个计算阶段：输入嵌入、多头自注意力、前馈网络、层归一化、输出投影等。在传统的推理实现中，每个阶段可能需要独立调用硬件、独立分配内存，导致大量的调用开销和内存搬运。

CANN LM Engine通过图引擎（GE，Graph Engine） 技术，将模型的计算过程构造成一张计算图，整体下发给Kirin硬件执行。相比于单个算子依次下发的方式，图模式具有以下优势：

• 计算图优化：对计算图进行算子融合、常量折叠等优化，减少计算量。
• 多流并行：利用硬件的多流水线能力，实现计算与数据搬运的并行。
• 内存复用：通过全局内存规划，复用中间结果的内存空间。
• 模型下沉：将模型常驻在NPU上，减少模型加载和卸载的开销。

5.2 -> 内存复用与数据零拷贝

内存管理是大模型推理的性能瓶颈之一。大模型动辄数GB的参数量，加上KV Cache等运行时数据，对内存带宽和容量都提出了极高要求。

CANN LM Engine通过以下机制优化内存效率：

• 内存复用：在计算图执行过程中，不同算子的输入输出张量如果生命周期不重叠，可复用同一块内存空间，大幅降低峰值内存占用。
• 数据零拷贝：将存放在ION内存中的数据（如GPU纹理数据或模型输入数据）直接封装为输入输出张量进行推理，无需额外的数据拷贝操作，既节省了内存又减少了推理时间。

5.3 -> LoRA拓展与多模态拓展

CANN LM Engine还支持更高级的模型扩展能力：

• LoRA（Low-Rank Adaptation）拓展：LoRA是一种大模型轻量化微调技术，通过在预训练量化基模上外挂浮点LoRA分支进行特定场景训练。CANN LM Engine支持LoRA的热插拔，开发者可以在不重新加载整个模型的情况下，动态切换不同场景的LoRA适配器，大幅降低微调成本。
• 多模态拓展：支持将文本大模型扩展为多模态模型（如文本+图像），为更丰富的AI应用场景提供基础。

6 -> 模型准备与集成流程

CANN LM Engine提供了完整的端到端业务集成指导，开发者按照以下Pipeline即可完成LLM模型在CANN硬件上的部署：

6.1 -> Step 1：模型量化

输入是用户原始模型（如PyTorch、TensorFlow等格式的FP32/FP16模型），通过CANN工具链的量化工具，输出量化后的权重文件和量化系数文件。量化可以显著降低模型大小和内存占用，同时提升推理速度。当前版本已支持INT4等低精度量化格式。

6.2 -> Step 2：导出ONNX格式

将原始模型结构和第一步生成的量化权重导出为ONNX格式。在这个过程中，工具链会自动进行模型结构的NPU亲和适配——将不兼容NPU的算子替换为NPU支持的等价实现，确保模型能够在NPU上高效运行。

6.3 -> Step 3：转换为CANN模型格式

将Step 2生成的ONNX模型和Step 1生成的量化系数文件作为输入，通过OMG工具转换为CANN格式定义的离线模型（.om格式）。OMG工具支持Caffe、TensorFlow、ONNX、MindSpore等多种框架的模型转换。

6.4 -> Step 4：基于CANN LLM Engine集成

加载Step 3生成的CANN格式模型，通过LLM Engine API进行推理集成。这一步就是前面第4章所述的API调用过程。

6.5 -> 当前支持的模型

根据官方文档，当前版本已支持以下模型：

• Qwen2.5-1.5B
• DeepSeek-R1-Distill-Qwen-1.5B
• Glm-1.5b
• Qwen2.5-7B-Instruct
• Qwen3-8B

6.6 -> 硬件要求

当前版本的LLM推理能力基于Kirin X90平台。Kirin X90是华为面向PC/2in1设备打造的AI计算平台，内置了专门针对大模型推理优化的NPU单元。

7 -> 性能优化与开发者工具

7.1 -> 维测调优（Maintenance Testing Debugging and Optimization）

CANN Kit提供了维测调优能力，可以对AI模型进行性能统计并获取性能数据。开发人员可以：

• 分析模型和单算子的性能数据
• 通过模型的层级输出对比精度，完成问题定位
• 利用随机构造的输入文件快速获取Profiling/Dump数据

这对于大模型推理的性能调优和问题排查至关重要——大模型推理涉及数十亿参数和数百层网络，性能瓶颈的定位离不开系统级的性能分析工具。

7.2 -> 模型轻量化工具

CANN Kit还提供了模型轻量化工具，集模型压缩算法和网络结构搜索算法于一体。该工具针对NPU架构对深度神经网络模型进行深度的模型优化，可以帮助开发者自动完成：

• 模型剪枝
• 权重量化
• 网络结构搜索（NAS）

这些能力在将大模型部署到端侧时尤为重要——端侧设备的计算资源和内存容量有限，必须对模型进行充分的轻量化处理。

7.3 -> AIPP硬件图像预处理

对于多模态场景（如图文理解），CANN Kit提供了AIPP（AI Pre-Process）模块。AIPP是针对AI推理输入数据进行预处理的硬件模块，可以实现不同格式图片数据到NPU标准输入格式的转换，无需重新训练模型即可完成适配，获得较好的推理性能收益。

8 -> 总结与展望

鸿蒙6.0 CANN Kit面向PC设备开放大语言模型推理API，是鸿蒙在端侧AI能力建设上的重要里程碑。通过CANN LM Engine，开发者可以获得：

1. 标准化的推理API：通过<CANNKit/llm_engine.h>头文件和libcann_llm_engine.so库，以C API形式接入LLM推理能力。
2. 完整的工具链支持：从模型量化、ONNX导出、OMG转换到最终的LLM Engine集成，形成端到端的解决方案。
3. 深度的计算加速：通过图引擎、内存复用、数据零拷贝、多步骤高效串联等技术，实现计算链路的全流程加速。
4. 灵活的模型扩展：支持LoRA微调热插拔和多模态拓展，满足不同场景的定制化需求。
5. 丰富的可观测性：维测调优、性能Profiling等工具帮助开发者持续优化推理性能。

从技术趋势来看，端侧大模型推理正在从“能不能跑”走向“跑得好不好”的阶段。CANN LM Engine通过软硬协同的设计理念——上层提供标准化API和自动化工具链，下层基于NPU/GPU/CPU异构硬件进行深度优化——为鸿蒙PC生态的AI应用开发奠定了坚实的技术底座。随着更多模型的支持和硬件平台的迭代，端侧大模型推理的性能和能效比将持续提升，为鸿蒙用户带来更智能、更流畅的AI体验。

---

感谢各位大佬支持！！！
互三啦！！！