Together AI发布Together Compiler系统

发生了什么

Together AI推出Together Compiler（TKCC），该系统利用智能体持续优化大模型推理过程。通过在生产流量变化时动态重写模型前向传播路径，该系统在NVIDIA B200、GB300、H100、AMD MI355X及AWS Trainium2等硬件上运行。据Together AI自报，该系统在MiniMax M3.1 Flash等模型上的吞吐量（TPS）较InferenceX基准提升最高达2.6倍。系统采用双层测量机制，通过热重载替代引擎重启，显著降低了实验冷启动时间。