研究发现LLM抑郁评分反映评估者特征

发生了什么

据arXiv cs.CL发布的研究，语言模型对抑郁症的评分更多反映评估者而非患者特征。研究预注册了880个语言模型评估者，交叉测试11个开放模型与提示及评分选择，应用于189份访谈。结果显示，模型选择解释了30.0%的症状总分方差，稳定的参与者差异占10.5%。两个随机抽取且AUC>=0.70的评估者，平均在40%的参与者筛查决定上存在分歧。校准虽将准确率从约60%提升至75%，但未解决个体间的一致性问题。