arXiv发布OrBIT结构引导LLM嵌入表压缩方法

发生了什么

据arXiv cs.LG报道，研究提出OrBIT，一种结构引导的嵌入压缩框架，通过学习轨道动力学发现可复用的局部几何结构来约束共享码字。该方法在GPT-2上实现37.9倍压缩，在7B参数表格上实现超过23倍压缩，同时保持具有竞争力的率失真性能。理论表明其通过全局重建残差指导固定编码预算的分配。