登录社区云,与社区用户共同成长
邀请您加入社区
获取往期直播材料:https://gitcode.com/cann/community/tree/master/events/meetup
更多推荐
HCCL自定义算子开发示例:基于AICPU引擎的点对点通信算子
点对点通信是指通信域中的两个 Rank 之间直接传输数据的通信模式,一个作为发送者一个作为接收者。常用于pipeline并行场景下对激活值的数据收发。点对点通信由两个基础算子组成,发送端和接收端需要配对使用且按序下发。Send算子:源进程将内存中的数据块发送到指定的目标进程。Recv 算子:目标进程从指定的源进程接收数据,并将其存入本地内存缓冲区。开发者可以点击下方链接获取完整样例代码。整体流程:
3月13日直播丨面向下一代硬件的性能调优
3月12日直播丨PyPTO:模型融合算子实操
扫一扫分享内容
所有评论(0)