近日，字节跳动旗下的Seed研究团队宣布了一项重大技术突破，推出了名为VAPO的强化学习训练框架。这一框架的主要目标是增强大型语言模型在处理复杂且冗长任务时的推理能力。
在大型语言模型的强化学习训练中，价值导向方法一直备受关注，因为它们能够精确地追踪每个动作对后续回报的影响。然而，当这种方法应用于长链式推理任务时，却面临着一系列挑战。价值模型在初始化阶段可能会引入偏差，传统方法难以适应复杂任务中不同长度的序列，而且在验证任务中，奖励信号往往非常稀疏，导致优化过程需要在探索和利用之间做出艰难权衡。
为了应对这些挑战，字节跳动推出了VAPO框架，全称为增强价值的近端政策优化。该框架基于PPO框架，并融入了三项创新技术。首先，VAPO构建了一个精细的价值训练框架，以提高模型对复杂任务的理解能力。其次，它引入了长度自适应广义优势估计机制，能够根据响应长度的不同动态调整参数，从而优化长短序列的训练效果。最后，VAPO整合了多项先前的研究成果，形成了一个协同增效的系统。
据字节跳动透露，在没有依赖特定监督微调数据的情况下，通过VAPO优化的Qwen2.5-32B模型在AIME24基准测试中取得了显著进步。其得分从5分大幅提升至60.4分，不仅超过了DeepSeek R1的47分，还领先此前业界领先的DAPO方法10分，并且只用了60%的更新步骤就达到了这一成绩。
与传统的Proximal Policy Optimization算法相比，VAPO在数学推理能力上有了显著提升，训练曲线更加平滑，优化过程也更加稳定。测试结果显示，VAPO在长序列任务中表现出色，得分增长迅速。尽管在后期训练中，由于熵值降低可能会限制探索能力，但VAPO通过其平衡设计确保了稳定性和可重复性。
VAPO的成功离不开其综合优化设计。消融研究表明，VAPO中的七项技术均发挥了重要作用。价值预训练有效防止了训练过程中的崩溃现象，解耦GAE支持了长回答的优化，自适应GAE平衡了短回答和长回答的训练效果，剪裁策略鼓励了探索，词级损失增加了长回答的权重，正例语言模型损失提升了6分，分组采样则贡献了5分。
