Qwen3-235B 32K长序列RL训练优化实践：突破内存与负载瓶颈的全栈方案

在大模型实用化进程中，长序列处理能力已成为核心竞争力——从仓库级代码理解、数百页法律合同分析到数小时多模态内容处理，更长的上下文长度正在解锁全新应用场景。Meta、Google、阿里等厂商纷纷推出支持百万级上下文的模型，而Qwen3-235B以32K上下文长度为目标，在强化学习（RL）训练场景中面临着内存瓶颈与负载不均的双重挑战。本文将详细拆解基于昇腾CANN平台与verl框架的全栈优化方案，最终实现系统吞吐从67 TPS/卡跃升至122 TPS/卡的突破。

一、长序列RL训练的核心挑战

长序列能力虽能拓展模型应用边界，但在RL训练场景中暴露出独特的工程瓶颈，主要集中在两个核心问题：

1. 内存瓶颈：线性增长的资源消耗

KV Cache与激活值内存随序列长度呈线性增长，以32K序列长度为例，单序列KV Cache占用高达1.47GB，导致单卡理论并发上限仅20~30，极易引发OOM（内存溢出）。尤其在MoE架构下，热点专家会进一步加剧单层激活内存压力，成为显存瓶颈的关键诱因。

2. 负载不均：长尾序列的算力浪费

长序列推理生成的响应长度存在显著长尾分布，少数超长序列任务成为"木桶短板"——所有数据并行（DP）分组必须等待最慢分组完成，导致短序列节点完成计算后陷入长时间闲置，算力资源浪费严重。实测显示，默认排布下首DP节点空闲时间占比高达64.84%。

此外，Host Bound导致的通信延迟、不同长度序列混合训练的低效并行等问题，进一步制约了系统性能。

二、全栈优化方案：从内存到负载的系统性突破

针对上述挑战，我们基于verl+MindSpeed+vLLM-Ascend技术栈，从内存切分、计算调度、负载均衡、训练策略四大维度构建优化体系，实现端到端性能提升。

1. 内存与切分策略优化：突破硬件资源限制

内存优化的核心是通过合理的模型切分与内存管理，在不牺牲性能的前提下降低显存占用：

• TP4切分+Chunk MoE组合：采用张量并行（TP4）降低单卡权重占比至7.09GB，通过Chunk MoE技术减少Prefill阶段峰值内存，结合实际数据分布将单卡并发数提升至256，大幅突破KV Cache限制。
• MoE Zero Memory重计算优化：利用反向传播过程中的计算与通信掩盖重计算开销，在减少激活值存储的同时降低额外开销。对比CP8配置，CP4切分实现57%的训练吞吐提升，激活内存占用显著降低。

2. 计算与调度优化：提升端到端执行效率

计算调度优化聚焦于减少CPU开销与通信延迟，充分释放NPU算力：

• 图模式+Host Bound优化：使能GE图模式减少CPU侧调度开销，通过decode阶段临时禁用垃圾回收、绑核确保NUMA亲和性等措施，解决多域通信延迟问题。优化后单步decode平均时间从137.64ms降至124.66ms，推理时间缩短13.6%。
• FA算子负载均衡：通过优化核数配置与块分配策略，使各核计算开销趋于均衡。实测推理时间从4919s减少至4153s，系统吞吐从105TPS提升至117TPS，性能提升11.4%。

3. 长序列负载均衡：根治长尾分布痛点

针对长尾序列导致的算力浪费，设计三层负载均衡策略：

• 输入数据重排序（Data Rebalance）：利用同一prompt多输出长度的相关性，将prompt复制后间隔排布，使各DP组处理的序列组合更均衡。优化后首DP节点空闲时间占比从64.84%降至24.83%，负载分布显著均匀。
• 动态Rollout Rebalance：推理过程中动态感知全局负载，通过两阶段调度策略实现负载均衡——排队请求调度优先迁移等待任务至空闲节点，运行时请求调度协同降低全局BatchSize。该策略使BS档位下降时机从16K提前至6K，额外贡献9%_{14%性能提升，Qwen3-235B实测性能再涨20}25%。
• 专家并行负载均衡（EPLB）：通过专家分组、热度排序与贪心装箱策略，解决MoE架构下专家负载不均问题。开启EPLB后推理时间从127.52s降至104.85s，性能提升18%。

4. 训练优化：自适应并行与算法优化

训练阶段聚焦于提升并行效率与算法收敛速度：

• HDP混合数据并行：融合数据并行（DP）与模型并行（CP），根据序列长度动态选择并行策略——长序列自动启用CP切分，短序列划分至DP组避免冗余通信。相比传统CP8配置，HDP使训练吞吐从77.15提升至107.25，提升39%。
• GRPO算法优化：在verl框架中实现old log_prob免计算，结合DAPO训练策略优化奖励函数，使训练过程更稳定高效。实测显示，critic/rewards/mean随训练步数稳步提升，模型收敛效果良好。

三、优化效果：从67 TPS到122 TPS的质的飞跃

经过全栈优化，Qwen3-235B 32K长序列RL训练实现了性能的全面突破：

• 系统吞吐从初始67 TPS/卡提升至122 TPS/卡，提升82.1%；
• 推理吞吐达234 TPS/卡，训练吞吐达404 TPS/卡；
• 端到端总训练时间控制在7833.16s，相比基线下降67%；
• 成功支持GBS=512、采样数=16的大规模训练，且模型收敛稳定。

四、未来优化方向

当前优化方案已实现长序列RL训练的高效落地，未来将从两个方向持续突破：

• 长远革新：探索线性注意力、稀疏注意力等新一代注意力机制，从根本上解决二次复杂度问题；适配Qwen-Next等新架构，探索混合注意力机制的演进。
• 近期探索：引入SAM投机解码技术，提升长序列RL推理吞吐；通过KVP切分将超长序列KV Cache分布到多个NPU，进一步突破单卡显存瓶颈。

五、开源与社区支持

本实践已完整开源至CANN代码仓，包含模型配置、训练脚本、环境搭建等全流程指南，开发者可直接基于开源方案复现高性能长序列RL训练：
https://gitcode.com/cann/cann-recipes-train/blob/master/llm_rl/qwen3/README.md

CANN社区还提供了覆盖大模型、多模态、具身智能等领域的全场景算法样例，以及高性能模型复现、特性优化实践等丰富资源，助力开发者快速上手并榨干NPU性能。

欢迎加入CANN社区：https://atomgit.com/cann