招商银行统一近万张AI加速卡成本降60%

发生了什么

据InfoQ中文报道，9月8日在上海举行的KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026大会期间，招商银行凭借其AI基础设施实践获得CNCF最终用户案例研究大赛冠军。相比获奖本身，更值得关注的是其对AI算力基础设施的系统性改造：通过Kubernetes以及Kueue、KEDA、Prometheus、HAMi、Fluid等组件，建立了一套统一控制平面，让模型训练、微调和在线推理共享近10000张异构加速卡。目前，招商银行已将99%的加速计算资源纳入这套统一框架。按照其公布的数据，近10000张加速卡的平均利用率从35%提升至60%以上；在模型和服务条件相同的情况下，每处理100万Token（包含输入和输出）的推理成本下降超过60%。在多租户微调场景中，招商银行还通过自主研发的Twinkle训练框架进一步压缩资源开销，默认允许5个LoRA租户共享同一个基础模型实例，相当于把基础模型副本从5份减少到1份，在对应场景下可以将加速器资源消耗降低80%，同时把训练密度提高5倍。