跳到正文
智迹闻AuraTracer

提出σTransfer小模型不确定性迁移方法

本机阅读

发生了什么

据arXiv cs.LG论文,研究者在Maximal Update Parametrization (μP)下推导了先验协方差的重缩放,使选定精度随模型宽度增长保持稳定,从而提出σTransfer方法。该方法允许在小模型上选定精度后零样本迁移至大模型,无需在大模型上搜索。在MNIST上从宽度128迁移至4096时,精度扫描速度提升约5000倍;从1B模型迁移至7B模型时,中位数搜索速度提升约2.3倍。

MNIST精度扫描加速比
~5000×
1B到7B模型搜索加速比
~2.3×

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.LG一手材料

    $σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口