登录社区云,与社区用户共同成长
邀请您加入社区
CANN兴趣小组上新:多模态智能计算CANN代码仓上新:oil-gas-ops-prospect、crypto、cannbot-knowledgeCANN样例上新:GLM-5.3-Flash。
参与报名链接:CANN社区任务-昇腾社区
B站预约链接:点击预约
B站直播预约:点击预约
【代码】AMCT structured pruning: MoE expert selection, method and measurement。
💡提示:本场直播为外籍讲师全程英文分享,配有双语字幕,内容具有一定技术门槛,欢迎感兴趣的开发者观看。
针对千万至亿级高维向量场景下 HNSW 内存开销大、构建缓慢的痛点,系统拆解 IVF、PQ、IVF_PQ、ScaNN 四类大规模向量检索索引算法。文章分别阐释 IVF 分簇检索、PQ 乘积量化的底层原理、核心参数与内存压缩逻辑,对比单算法优劣并说明 IVF+PQ 组合兼顾检索速度与内存节省的工程价值;同时详解 Google ScaNN 各向异性量化、预筛选重排序创新机制。来自华北理工大学段一凡的博
昇腾 NPU 的达芬奇架构以 “高并行” 为核心特性,而 Ascend C 核函数的线程模型是发挥硬件并行能力的关键。很多开发者入门时会因线程块(block)、线程(thread)的配置逻辑不清晰,导致算子性能无法达标。本文基于 CANN 训练营的内容,从线程模型的底层逻辑出发,结合实战案例讲清线程配置方法、并行粒度选择,以及如何通过线程索引适配不同维度的 Tensor。Ascend C 的线程模
本文深入解析昇腾NPU中MlaProlog算子的计算依赖分析与流水线编排技术,提出基于13年异构计算经验的通用化分析框架。通过逆向工程方法揭示其动态依赖解析和硬件感知编排的核心设计,开发了包含完整依赖分析算法、流水线优化策略及CV融合算子应用案例的解决方案。实际测试显示,该框架在昇腾910B平台上使ResNet-50等模型性能提升27-36%,资源利用率提高24-33%。文章还提供了企业级验证案例
摘要:本文系统解析昇腾NPU中MlaProlog算子的双核协同编程机制,揭示达芬奇架构下Cube与Vector计算单元的高效协作原理。通过硬件架构分析、AscendC编程范式、计算依赖算法及智能流水线编排等核心技术,展示如何实现3-7倍性能提升。包含完整的注意力机制算子实现代码、多模态应用案例及性能优化策略,并提供双核负载均衡、内存带宽优化等典型问题的解决方案,为AI开发者提供从理论到工程实践的完
本文详细介绍了基于Aclnn接口实现逐元素加法算子的全流程开发。通过解析Aclnn调用流程和技术原理,从内核函数实现、接口封装到Pybind集成,构建了完整的算子实现方案。文章提供了开发环境配置、测试验证方法以及企业级优化策略,实测性能较传统实现提升35%。关键内容包括:Aclnn张量抽象、异步执行模型、内存管理优化和PyTorch生态集成,为开发者提供从理论到实践的完整指导。
摘要:本文探讨了如何在UGC场景下通过自定义CANN算子优化动态控制流和非规则计算。针对传统静态编译在动态特征门控机制中的瓶颈问题,提出利用TIK/TE技术将外部控制流转化为数据驱动计算。重点剖析了ConditionalFeatureGather算子的实现,展示了如何通过索引驱动的非连续访存和动态mask/padding机制,在NPU上高效处理条件特征选择。文章详细解析了TIK核心逻辑、动态访存优
本文聚焦 2025 年五大爆火技术与三大主流大模型部署工具,为不同阶段开发者提供实战指南。核心涵盖 Code Llama 代码生成、Rust+Wasm 性能优化、AI 编程助手架构建议、区块链 + DTVM 智能合约、GeoGPT 科学研究五大技术,附完整可运行代码与官方资源链接。同时详解 vLLM(企业级)、Ollama(轻量型)、LMDeploy(国产化)的部署步骤与性能对比,适配不同硬件场景