EdgeRock-4B定长显存长推理方案

发生了什么

X平台用户@xiaohu发布的EdgeRock-4B方案称，可在推理中锁定每请求注意力和状态显存，报告为97.76MiB，其中注意力KV为72MiB。据称在256K长文本下，注意力缓存显存从8GB降至72MB，降幅99.1%；该自报AIME准确率为82.9%。