研究分解LLM集成增益来源：候选值、多样性与聚合效应

发生了什么

据arXiv cs.CL报道，一篇题为《Where Do LLM Ensemble Gains Come From? Decomposing Candidate Value, Diversity, and Aggregation》的研究论文探讨了大型语言模型（LLM）集成增益的来源。研究在一个LLM聚合器下比较了四种匹配条件：Direct（无候选）、Single-slot（多槽接口中的一个候选）、Duplicate（重复一个候选）和Multi-candidate（分别生成的候选）。在非多样化控制下，总体候选增益（CIV）代数分解为额外候选对比（DSV）和候选上下文对比（CCV）；这种分解但不包括CIV本身取决于所选的控制组。在MultiHopRAG模型多样性（k=2）上，重复差距Rep=-8.33 pp [-13.25, -3.75]量化了以Duplicate和Single-slot为基准测量的增益之间的差异。在匹配的FRAMES更强面板扩展（n=200, k=3, 聚合器输出限制4096）上，配对Delta Rep=+9.67 pp [+6.00, +13.50]；在面板内，Rep改变符号（原始-6.33；更强+3.33）。在FRAMES证据聚合中，两种非多样化控制下的候选上下文对比仍然强烈为负。结果表明，为什么集成评估应在将增益归因于额外候选之前声明参考控制。