开发者发布GPT-2 KV缓存实现分析

发生了什么

据r/MachineLearning帖子，开发者angry-kratos发布了GPT-2小模型及KV缓存的PyTorch从头实现。测试显示，在上下文长度1,000时，缓存使每令牌时间从29.69ms降至4.95ms（约6倍），生成1,016个令牌总耗时从14.66s降至5.03s（约2.9倍）。正确性方面，最大绝对logit差异约为6.1e-5，与Hugging Face匹配。内存公式为72 KiB/token，扣除cuBLAS工作区后实测无偏差。该实现为教育项目，非新算法。