淘宝 MNN 开源 0.3B 手机模型

发生了什么

据 IT 之家 11 月 6 日报道，淘宝 MNN 团队发布了 MNN-Pocket-0.3B 轻量化语言模型。该模型拥有约 3 亿参数，专为手机应用设计，在 iPhone 18 Pro 上离线解码速度可达 350 token/s，INT4 量化版本部署体积为 173MB。设计目标包括峰值内存低于 300MB 及高能效比，旨在平衡任务能力与端侧运行资源。模型支持中英文，并在多项指令遵循与推理评测中表现优于部分同规模及更大规模模型。