检索分歧诊断引导多语言嵌入模型

发生了什么

据arXiv cs.CL论文，研究发现多语言密集检索器在多语言共享索引中存在同语种拥挤问题，导致不同语言检索结果显著分歧。研究提出“分歧引导 steering”方法，通过对比其他语言共识文档与特定语言独特检索文档的差异，构建语言特定方向加入查询，从而有效减少同语种拥挤。