TKintegers发布K5三进制权重推理实现
发生了什么
据r/MachineLearning报道，开发者发布了TKintegers K5推理实现，该方案采用平衡三进制权重表示法。在NVIDIA L4 GPU上运行Qwen2.5-0.5B-Instruct模型时，K5在预填充阶段实现3,402.85 tokens/s吞吐量，解码阶段为26.75 tokens/s，分别达到TorchAO FP8基准的3.21倍与3.10倍。该实现通过扩展平铺块进行计算，并使用FP16张量核心操作数与FP32累加，无需专用硬件支持。
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口