Pinterest探讨多轮次嵌入训练机制

发生了什么

Pinterest工程团队发布技术分析，探讨推荐系统中大模型嵌入表的多轮次训练挑战。研究指出，传统单轮次微调限制了模型在小规模数据集上的优化及视觉语言模型（VLM）的学习效果，而直接延长训练轮次会导致模型质量显著下降。团队通过隔离梯度路径发现，嵌入表是导致过拟合的主要来源。目前，团队正研究通过控制梯度路径（包括Transformer路径与特征交叉路径）来防止过拟合，以实现嵌入表在微调阶段的安全多轮次训练。