PLUME: Parameter-Efficient Personalization of Large Language Models via Low-Rank User Modulation in Shared Subspaces
提出 PLUME 框架，通过共享子空间中的低秩用户调制实现大语言模型的高效个性化，将单用户参数减少超过 95%。该框架首先从聚合数据中学习全局任务子空间，随后仅在该子空间内训练轻量级小方阵以完成个性化适配，同时固定共享组件。引入跨层共享参数和秩 -1 残差项进一步降低冗余并保持表达能力。在多个个性化文本生成基准测试中，PLUME 性能与强基线相当或更优，证明了基于最小残差的共享子空间调制是一种可扩展且语义 grounded 的 LLM 个性化方案。