登录社区云,与社区用户共同成长
邀请您加入社区
CANN开发者Meetup|开发体验专场开始报名啦
在处理不同规格输入时,划分的基本块无法均匀分配到所有核上,导致分核不均。需要针对最后一轮基本块进行二次切分(支持切分M和N轴),使其尽量均匀分配到多核中,充分发挥完整算力。Figure 6. 最后一个group尾轮负载均衡原理图:对最后一轮基本块进行二次切分(支持切分M和N轴)当前实验环境为Ascend950PR, GM带宽1.6T/s,32核。E=2,M轴分组,group_list={256,2
cann-samples是CANN社区提供的高性能实操样例库,致力于为开发者提供可复用的优化方法论和最佳实践代码。本系列文章将陆续介绍仓库中的典型样例,分享我们在算子优化过程中的思考与经验。计算公式ci,j=∑g=0ceil(K/G)−1(scaleAi,g⋅scaleBg,j⋅∑k′=0G−1(ai,gG+k′⋅bgG+k′,j))c_{i, j} = \sum^{ceil(K/G)-1}_{g
随着大模型训练与推理、推荐系统及多模态应用等AI场景的爆发式发展,新一代AI芯片的算力突破已成为行业刚需。Ascend 950作为面向AI计算的新一代芯片,通过第三代DaVinci Core架构、灵衢互联技术以及MXFP4/MXFP8等低精度计算等特性支持,为AI应用提供了强大的算力底座。然而,硬件算力的充分释放离不开高效的软件栈支持。CANN作为昇腾AI处理器的异构计算架构,通过持续演进,已经形
本文探讨了华为CANN平台在用户生成内容(UGC)处理中的应用。面对多样化的UGC内容和实时性需求,CANN平台通过高性能计算和灵活算子设计,支持开发者构建高效的模型处理流程。文章详细介绍了CANN算子的开发策略,包括针对性算子设计、性能优化技巧和资源管理方法,并以图像审核系统为例展示了实际应用效果,处理延迟降低60%且准确率达95%以上。最后展望了多模态处理和安全合规等未来发展方向,并介绍了CA
腾AI处理器系列是华为自主研发的AI加速芯片,采用创新的达芬奇架构设计。这些处理器采用独特的3D Cube计算架构,通过片上存储和高效数据通路设计,相比传统GPU能效比提升2-3倍。实测表明,在ResNet50训练任务中,腾910相比同代GPU可减少30%训练时间。
【CANN训练营学习笔记摘要】计算机视觉算子优化实践 本文系统介绍了昇腾NPU的CV算子优化技术,分为架构解析与性能优化两大模块。在架构层面,详细讲解了CANN CV算子的三层体系(基础算子层、图像处理算子库、应用层算子)及目标检测类算子实现原理。性能优化部分重点剖析了插值类算子的四种方法(最邻近/双线性/双三次/三线性)及数学原理,提出三大优化策略:向量化优化(消除重复计算)、转置优化(解决访存
Reduce:所有节点先对相同位置的数据执行归约操作。Scatter:将规约后的完整结果拆分,每个节点只获取拆分后的一部分结果。如下图所示,每个节点对相同颜色(即相同位置)的数据进行归约操作(求和)后,只获取位置编号和自己节点编号相同的归约数据。HCCL提供的ReduceScatter操作主要分为四个步骤完成计算:① 将各rank的输入内存拷贝到cclBuffer上。② 从对端拷贝所需数据(相同位