港科CMU联手岩山科技开源EdgeRock-4B

发生了什么

据量子位报道，岩山科技旗下岩芯矩阵联合港科大、CMU等高校开源EdgeRock-4B。该模型在256K上下文下KV Cache固定为72MiB，相比源模型减少99.1%。在单张80GB显卡上同时运行512路长推理时，输出吞吐达12124 tokens/s，是源模型的6.42倍。报道还称其AIME 2024—2026平均一次通过率为82.9%，而参评的有界状态模型即使做到14B，最好也只有18.8%。