arXiv发布Echo：LLM训练推理误差补偿方法

发生了什么

据arXiv cs.AI报道，论文提出Echo，一种用于LLM训练和推理的误差补偿4位张量并行通信方法。该方法通过高精度求和揭示注入误差并反馈至后续调用，使累积误差保持有界。在A100 GPU上，Echo比16位NCCL all-reduce快2.09倍，首Token时间加速达1.16倍。在Qwen3-8B上，其平均精度保持在16位推理的0.4点以内，预训练损失低于16位训练不到0.9%。