arXiv揭示PFN特征标签非可分性

发生了什么

据arXiv cs.LG论文《Characterizing the Separability Gap in Prior-Data Fitted Networks》，研究指出标准先验数据拟合网络（PFN）理论假设特征分布与标签生成机制独立，但实际常见PFN先验具有非可分性。这导致预训练目标基于包含查询特征的上下文后验，而非仅含标注上下文的后验。在模型误设下，该非可分性虽可能以牺牲条件标签拟合为代价换取更好的特征拟合，但也使PFN能从额外无标签观测中学习。作者提出SemiTabICL，通过显式利用无标签数据提升准确率，并强调需在评估中明确无标签数据使用规则。