Graphcore与Arm发布Llama-Mobile
发生了什么
据Semiconductor Engineering报道，Graphcore Research与Arm合作开发Llama-Mobile，旨在解决多模态AI向个人设备转移时的内存和带宽约束。该方法应用于Llama 3.2 Vision 11B，将权重足迹减少80%以上，从21.3 GB降至3.7 GB。激活值量化为INT8，视觉问答得分保留66.1%（原模型74.4%）。S3D8格式将3个权重存于单字节，平均2.7位/参数。推理时Arm Advanced SIMD解码S3D8并转换为INT8，CPU利用现有指令处理。模型采用量化感知训练（QAT）及蒸馏（QAD）恢复精度。
- 权重减少比例
- 80%以上
- 权重大小变化
- 21.3 GB至3.7 GB
- 视觉问答得分
- 66.1%
- 每参数位数
- 2.7 bits
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- Semiconductor Engineering来源报道
Compressing An 11B VLM To 2.7-bit Weights For Mobile CPUs
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口