登录社区云,与社区用户共同成长
邀请您加入社区
👉 立即挑战,赢定制周边:https://gitcode.com/cann/cann-learning-hub/issues/777。📅 活动截止时间:10月29日 24:00。
📅 活动截止时间:10月22日 24:00。
CANN兴趣小组上新:多模态智能计算CANN代码仓上新:oil-gas-ops-prospect、crypto、cannbot-knowledgeCANN样例上新:GLM-5.3-Flash。
📅 活动截止时间:10月15日 24:00。
B站预约链接:点击预约
B站直播预约:点击预约
👉 立即挑战,赢定制周边:https://gitcode.com/cann/cann-learning-hub/issues/730。📅 活动时间:9月9日至10月9日 24:00。
本周摘要CANN代码仓上新:cannbotCANN技术活动:CANN NEXT系列开播CANN 社区进展直达开源社区:https://gitcode.com/cannCANN 上新。
HiF8不只是节省带宽,而是通过QKPV全量化、紧凑数据表示、Scale复用以及访存/计算流水重构,进一步缓解了原有SparseMLA中明显的Scalar Bound。,HiF8 在权重、激活和KV Cache上均表现出较好的数值保真度,主要Benchmark与高精度基线基本持平;,通过RmsNorm+Quant、Rotary+Quant等融合,将中间结果尽可能留在片上,减少完整Tensor写回和
📅 活动时间: 9月1日至10月1日。
CANN社区任务再上新!9月2日10:00开启任务报名。22个任务上线,60万+奖金池开放!扫码参与活动报名,抢先了解任务详情。
【代码】AMCT structured pruning: MoE expert selection, method and measurement。
需要注意的是,FLOPs会独立于数值精度统计multiply-accumulate operations:它反映的是token剪枝带来的FLOPs降低,但并不能体现HiF8带来的收益,例如低比特宽度带来的memory和bandwidth节省,以及低比特矩阵计算单元上的更高吞吐。因此,它能够在不依赖细粒度per-token / per-block scale的情况下,同时兼顾宽动态范围和高精度表示,
但 FP16/BF16 一共只有 65536 种位模式,HiFloat8 只有 256 种——干脆在 host(CPU)上预先把所有结果算出来打成一张表,device 上只剩"查表 + 写回",又快又简单。精度侧覆盖了 FP16/BF16 全 65536 个位模式的 roundtrip、HiFloat8 全 256 个值的 decode,以及 ±0、±Inf、NaN、subnormal 的边界场景
💡提示:本场直播为外籍讲师全程英文分享,配有双语字幕,内容具有一定技术门槛,欢迎感兴趣的开发者观看。
PyPTO Professional 的赌注是:算子开发者应该把时间花在「切多大的块、开几级流水、Buffer 怎么摆」上,而不是花在「这个 offset 算对了吗、这个 event id 配对了吗」上。前者是创造性的、决定性能上限的工作;后者是机械的、只决定你今晚能不能下班的工作。PyPTO Professional 把后者全部接管,同时一寸不让地把前者留给你——因为想摸到理论峰值 0.9x 以
在 AI 大模型时代,模型部署时会遇到容量压力、带宽与吞吐压力和工程适配压力。同时,本可以收敛成一条工具链的工作被分散在各个流程中,进而导致在适配不同模型时做重复工作。如何低成本的部署模型,如何把模型量化收敛成一条统一的工作流,是这个时代需要解决的问题。AMCT-LLM 是一款面向大语言模型低比特量化的模型压缩工具,将模型适配、精度评估、量化优化与部署导出收敛为统一工作流。
静态 Shape 多流并行增强模块并不追求更多 Stream,而是追求更多有效并行。逻辑流拆解负责找到图中的并行空间,物理流合并负责生成可执行的多流候选,Profiling 和硬件资源约束负责把逻辑并行修正为硬件可承载的真实重叠,最后再通过 Device 实测选择端到端更优的方案。判断多流优化是否有效,最终只需要回到三个问题:任务是否真正重叠,资源是否能够承载,以及端到端性能是否真正改善。
CANN 全面开源开放,致力于为开发者构建统一、高效的算力使能平台,助力 AI 应用创新与加速落地。为进一步促进区域开发者交流、共建 CANN 生态,CANN 开源社区联合 AtomGit 正式发起「CANN 开发者 Meetup」南京站。
👉 立即挑战,赢定制周边:https://gitcode.com/cann/cann-learning-hub/issues/531。📅 活动时间: 8月6日至8月13日。
SIG 主要沉淀面向 6G AI RAN 的典型任务样例,覆盖时变信道表征与建模、信道估计、端到端无反馈MIMO预编码与多流传输、跨场景智能定位与多基站协作传输等方向,并可进一步拓展至基站智慧节能、移动性管理等 AI for RAN 应用。面向高校学生同时启动5大赛区:京津冀东北赛区、上合赛区、西北赛区、西南赛区、杭厦赛区,荣誉证书 +秋招机考面试绿卡+丰厚奖金 欢迎广大学生报名参加!CANN社区
QAT 算子的开发实践验证了 PyPTO 的简单易用:用高层张量 API 表达算法逻辑,用tile_shape和等参数完成性能调优。在此基础上,Agent 可以先围绕公式和张量关系快速完成功能实现,再根据 profiling 结果调整少量参数完成优化,2周便完成 QAT 算子的开发、调优和模型接入,实现了模型吞吐性能的显著提升。
📅 活动时间: 7月28日 - 8月5日。
很多人形机器人能完成炫酷表演,却难以胜任日常真实工作。本场直播我们一同探讨:人形机器人如何从 “会炫技” 走向 “会工作”,真正走进现实世界。📡四位技术嘉宾围绕具身智能、机器人动作复刻、大模型赋能机器人、开源共建等议题深度交流。