Aiven自建LLM网关并转向开源权重模型

发生了什么

据The Register报道，欧洲开源数据库服务商Aiven通过转向开源权重模型并自建基于LiteLLM的内部网关，成功将其内部AI Token开销削减了80%。该网关支持在不同模型间切换，旨在帮助开发者在控制成本的同时管理AI使用。Aiven表示，目前主要利用开源权重模型处理大部分工作，仅在规划关键任务时使用前沿模型，并计划将该网关作为服务向客户提供。