大模型价值对齐训练产生副作用

发生了什么

据arXiv cs.CL研究，大模型价值对齐训练可能产生意料之外的副作用，影响未训练的价值维度、风险偏好与安全特性。研究调整了四个指令微调LLM，在个体霍夫斯泰德价值维度上评估，发现特定价值训练对未训练的价值、风险偏好、社会认知和安全特性产生副作用。研究建议价值对齐训练后应进行更广泛的行为评估，并需研究额外价值训练在流程中的最佳位置。