WEKA指出LLM推理中60%算力浪费于重算

发生了什么

据VentureBeat AI报道，WEKA现场CTO Alan McSeveney指出，运行大型语言模型推理时，GPU高达60%的计算资源被浪费在重新计算已处理的上下文上。这一效率问题源于LLM在GPU内存中保存对话历史的方式。解决此问题可使企业利用现有硬件服务数倍数量的用户。该观点由McSeveney在与VentureBeat分析师Rob Strechay的访谈中提出。