华瑞指数云联合大普微发布KVstor AI原生一体机

发生了什么

据品玩报道，华瑞指数云与大普微联合发布KVstor AI原生一体机。该方案将高频KV Cache卸载至分布式全闪存储池。在长上下文测试中，TTFT从323秒压缩至16秒，提升20倍；Token吞吐量提升至90,000 tok/s，提升22倍。在高并发多轮Agent场景中，缓存命中率维持97%以上，吞吐提升4.4-4.7倍。综合测算可节省60%以上推理GPU硬件成本。