Architect推出LLM推理竞价市场

发生了什么

据MarkTechPost报道，Architect Financial Technologies推出Liquid Inference，这是一个实时竞价市场的LLM路由服务。提供商对特定模型出价，买家支付满足规则中的最低报价。开发者只需更换Base URL即可让提供商竞争价格。该服务支持OpenAI/Anthropic API兼容，提供订单簿、报价等市场数据，并允许设置成本上限、延迟限制等规则。