分析量化步骤重叠对处理速度的影响

发生了什么

据@davidrbellamy分析，在模型量化处理中，“after”方案因步骤重叠机制具备更快的处理速度。该分析指出，权重反量化与16位矩阵乘法的时间消耗可通过与其他步骤重叠来抵消，而激活值量化因无法预知计算结果，必须在步骤链中串行执行，无法通过并行重叠优化。因此，这种不对称性使得“after”方案在处理效率上优于“before”方案。