亚马逊发布SageMaker训练会话API

发生了什么

亚马逊发布SageMaker训练会话API，支持无需管理GPU即可编写自定义大模型训练循环。该API旨在解决当前微调大型语言模型（LLM）时，在训练循环控制和操作简便性之间的权衡问题。通过训练会话API，用户可以编写自己的训练循环，而无需管理GPU基础设施。该服务处理运行时设置、分布式执行、梯度同步、故障恢复、租户隔离以及GPU大规模运行的操作。用户只需专注于数据和算法，SageMaker AI负责GPU分配、模型和LoRA加载、分布式执行等。API围绕三个SDK客户端（ServiceClient、TrainingClient、SamplingClient）组织，支持快速迭代和算法自由度。使用按处理的令牌计费，用户仅为其循环消耗的计算量付费。