TRACE：面向MoE语言模型的FP4强化学习量化框架

发生了什么

据Hugging Face Papers报道，TRACE是用于MoE语言模型强化学习的FP4量化框架。它通过 rollout-guided quantization-aware training 减少训练与 rollout 间的差异，实现高达5.4倍的 rollout 加速，性能可比BF16基线。