自回归推理受内存带宽限制

发生了什么

X的分析指出，autoregressive（解码）推理速度受内存带宽限制，而非计算速度。加载权重块所需时间远长于矩阵乘法本身。因此，16位矩阵乘法在实际墙时上几乎不慢于4位矩阵乘法，因为两者都需等待下一块权重加载。两种精度的乘法完成时间相近，主要瓶颈在于权重加载而非计算。