HiFloat8：为大模型训推走出精度与性能的“既要又要”之路

随着深度学习模型规模的不断增大，模型的训练和推理对计算效率、显存占用和能耗的要求也越来越高。低比特（8bit整型/8bit浮点）数据格式应运而生。其核心思想是使用更少的比特位来表示计算密集且对精度敏感度较低的模块，如模型参数（权重）和中间计算结果（激活值）等。

HiFloat8（HiF8） 是一种新型的 8 位浮点格式。它创新地提出点位域Dot设计，实现即时可译变长前缀码编码。这样的设计使得格式本身实现动态范围和精度平衡，摆脱了传统低比特数据格式对复杂细粒度缩放的依赖，实现更高效的模型训练和推理。

本次直播将聚焦HiFloat8数据类型的技术细节、CANN软件栈支持新格式的算子和工具及其在训推模型的亮眼表现， 帮助大家了解如何发挥HiF8数据格式特点，走出“既要”精度“又要”性能的模型训推之路。

直播安排：

干货满满，层层递进，从理论到实践带你“尝鲜”HiF8。

加入我们，共赴未来

通过本次直播，我们希望你能够：

• 了解HiF8通过单数据格式巧妙实现精度与性能兼得的设计原理；

• 掌握在模型HiF8训练中，如何通过用好Delayed Scaling机制，在实现训练稳定性的同时获取加速收益；

• 了解HiF8如何摆脱对复杂细粒度缩放的依赖，实现了更高效的推理；

• 以及，加入CANN开源社区，与行业专家、资深开发者交流经验、共促生态繁荣 ；

总之，HiF8通过科学巧妙的设计，成功在8-bit位宽限制下，为神经网络训练和推理，提供了能力更全面的8位浮点单数据格式表达。华为下一代昇腾处理器原生支持HiF8数据格式，将这种优势切实转换为神经网络训推的E2E性能和精度。HiF8量化算法已在CANN社区开源（https://gitcode.com/cann/amct），更多训推recipe和模型也将陆续开源。欢迎学术界与产业界共同探索HiF8数据格式的优势场景，共同打造技术与模型生态。

B站直播预约链接： 点击预约​