Efficient Clustering with Quality Guardrails for LLM-based Recommender Systems at Industry Scale
本文提出一种可扩展的两阶段聚类算法，为工业级大语言模型推荐系统提供可证明的样本级质量护栏。该方法通过 Mini-batch K-Means 生成初始簇，再贪婪选择代表点以确保每个样本与代表点共享指定最小嵌入相似度及精确属性匹配。实验表明，该算法在运行速度和可扩展性上显著优于常规方法，并成功应用于 3800 万客户数据的真实部署，将下游大语言模型成本与运行时间降低 50 倍，同时保持个性化效果，从而支持了基于人物画像推荐系统的上线，并在 A/B 测试中实现了显著的营收与参与度提升。