arXiv发布PerSo基准评估LLM社会智能

发生了什么

据arXiv cs.CL论文介绍，研究者提出PerSo基准，基于Reddit ChangeMyView社区的真实对话评估大语言模型的社会智能。该基准涵盖认知智能（推断他人心理状态）和行为智能（选择适当社交行动）。评估显示，最强LLM在行为任务上略超最佳人类表现，但在认知任务上人类仍占优。