阿里云AI网关时延较Higress最高降97.1%

发生了什么

据稀土掘金报道，阿里云发布对比实验数据，其AI网关Serverless企业版在处理大请求体场景下表现优于开源Higress自建部署。在1MB请求的10-100并发测试中，Serverless企业版平均处理时延最高降低97.1%；在10MB请求测试中，最高降低90.2%。阿里云指出，其采用Envoy原生插件机制，针对AI请求处理流程与内存使用进行了专项优化，减少了重复数据复制和不必要的内存占用。