Atlas: Optimizing Deployment of Compound AI Workflows on Heterogeneous Clusters
研究人员提出 Atlas 框架，用于在异构集群上优化受 SLO 约束的复合 AI 工作流部署。Atlas 引入 MAP（Markovian Accuracy Predictor），通过局部条件精度转换离散化中间输出并依据工作流拓扑组合过渡档案，从而在不进行全量端到端配置剖测的情况下估算配置精度。该框架将执行计划选择建模为混合整数线性规划问题，旨在最大化预测精度并满足 SLO 约束。实验表明，在四个复合 AI 工作流中，MAP 的 Spearman 相关性最高达 0.947，相比全量端到端剖测降低了高达 2.6 倍的剖测成本；在 MAP 指导下，Atlas 优化器选出的执行计划与最优解误差小于 0.03，并通过异构部署将部署成本降低高达 42%。