GraphMend: Code Transformations for Fixing Graph Breaks in PyTorch 2
GraphMend 是一种自动修复 PyTorch 2 程序中 FX 图断裂的编译器技术。该研究对 195 个 Hugging Face 模型进行调查，发现其中 13.8% 存在图断裂问题。GraphMend 通过源级程序分析和 AST 结构分析识别断裂模式，并在语义可静态保证的前提下应用转换以消除可修复的断裂。在针对 27 个存在断裂模型的评估中，GraphMend 消除了 147 个断裂中的 107 个（73%），完全修复了 21 个模型中的所有断裂。在 NVIDIA GPU 实验环境下，GraphMend 实现了最高 26 倍的冷启动加速、平均 5 倍加速以及最高 1.39 倍的稳态前向传播加速。