研究揭示表格基础模型深度影响机制

发生了什么

据arXiv cs.LG报道，研究分析了TabPFN-3等表格基础模型（TFMs）的深度影响。发现存在显著的扩张-压缩轨迹，后期维度收缩有助于类原型分离。即使预测类别稳定，后续层仍存在显著表示变化，局部模糊查询从浅层到深层获得更大准确率提升。重复或扰动层序会降低性能，表明TFM中存在输入依赖的深度冗余评估需求。