Modal研究：异步强化学习降低大模型训练成本

发生了什么

据X @modal报道，Modal提出使用异步强化学习与混合加速器降低大模型训练成本。传统RL训练通常依赖固定同质集群以保证数值稳定性，但这浪费了其他厂商和代际的推理优化工作且成本高昂。Modal通过完全异步RL、混合精度和混合加速器采样器，结合离策校正，在agentic coding任务训练中保持了与同质采样器相当的收敛稳定性，同时降低了成本。