伯克利MIT开源FreeToken推理引擎

发生了什么

InfoQ中文报道，加州大学伯克利分校和麻省理工学院研究人员推出开源推理引擎FreeToken，旨在弥合前沿混合专家模型与消费级硬件差距。该引擎采用动态协同调度方案，在RTX 4060上运行Qwen3.6-35B模型速度可达每秒39个Token，支持Linux和Windows系统上的NVIDIA RTX 30、40和50系列GPU。