使用基于JEPA的世界模型对LLM进行“接地”训练——这种方法是否已经被尝试过？[D]
有用户提出一种将基于 JEPA 的世界模型训练于物理仿真环境中并连接至 LLM 的方案，旨在解决 LLM 缺乏物理直觉的问题。该方案在 MuJoCo 或简单 2D 环境中训练预测抽象嵌入空间中未来状态的模型，利用对物理错误零容忍的机制提取编码物体恒存性、动量及轨迹等原理的表示，并将其作为条件信号附加到 LLM 上以加速下游学习。尽管 V-JEPA 和 DreamerV3 分别涉及视频帧表示预测或潜世界模型用于强化学习，但 JEPA 风格预测结合仿真物理表示与 LLM 连接的组合尚未被清晰实现。社区关注是否存在遗漏的先验工作、JEPA 表示与语言模型的接口方式（如拼接或交叉注意力），以及仿真到现实的差距是否会导致迁移失败。