开发者优化RTX 3090运行Qwen3.8-27B

发生了什么

据新浪科技报道，开发者u/iamMess通过软件优化使RTX 3090运行Qwen3.8-27B的速度从82 tok/s提升至382 tok/s。该方案采用推测解码技术，利用轻量级草稿模型猜测后续token并由主模型验证，准确率稳定在96.5%。优化分阶段实施：启用多token预测后速度升至114 tok/s；引入DFlash2模块及查找草稿器后进一步提升；最终将验证步长扩展至16个，实现最高382 tok/s的推理速度。尽管代价包括占用更多上下文空间，但普通聊天场景下速度仍达133 tok/s，显著优于基线。