爱丁堡大学提出CSWBench评估基准

发生了什么

据arXiv cs.CL报道，爱丁堡大学提出CSWBench，用于评估创意写作中大语言模型的语境敏感多语言代码切换能力。该基准包含聚焦叙事和扩展叙事两种设置，并配套CSWEval框架进行事件级和全文级评估。对12个模型的评估显示，模型在多语言文学整合方面表现不均，叙事显著切换与更强的语境和功能实现相关。