AI推理隐藏存储成本

发生了什么

据MIT Tech Review AI报道，AI推理导致后端数据激增，超出算力预算。AI推理持续运行，每次模型响应都会产生大量需存储的后端数据，如日志、缓存、渲染等。企业因生成AI内容（如视频）导致数据量显著增长，存储成本可能远超计算成本。麦肯锡预测，到2030年，AI推理需求将以35%的复合年增长率增长，远超培训需求的22%，占数据中心总需求的40%以上。调查显示，近95%的企业因生成式AI在过去12个月中数据量增加，61%增长25%或更多。