研究追踪LLM“废话”风格来源并通过方向消融剪除

发生了什么

据r/MachineLearning报道，一项研究追踪了LLM中“废话”风格的来源及消除方法。研究发现该风格存在于Qwen3-4B-Instruct模型的特定方向中，并与OLMo 2 1B的SFT和DPO阶段相关。通过方向消融和固定向量减法，可在KL预算内减少结构套路。将其蒸馏为秩16的LoRA后，无需系统提示即可将“废话”分数降低83%，且未在小规模QA检查中出现性能下降。