聚焦昇腾950硬件与Qwen3.x,分享大模型在950上的推理优化方法。内容涵盖昇腾950硬件与通信特性、模型结构分析、集群规模估算,以及结合硬件拓扑选择TP/EP并行方案。

Logo

CANN开发者社区旨在汇聚广大开发者,围绕CANN架构重构、算子开发、部署应用优化等核心方向,展开深度交流与思想碰撞,携手共同促进CANN开放生态突破!

更多推荐