研究揭示大语言模型提示适应内部机制差异

发生了什么

据arXiv cs.LG报道，研究论文《Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs》分析了离散提示优化、提示微调和前缀微调如何改变密集和混合专家语言模型的处理方式。分析显示，适应位置预测任务信息传递方式：优化文本主要改变响应构建，输入级提示将影响写入内容表示，逐层前缀通过注意力保持直接控制。在混合专家模型中，这些差异进一步诱导不同的专家路由模式。研究主张区分表征漂移与因果用于任务计算的漂移部分。