PyTorch发布Nemotron 3.5边缘优化方案

发生了什么

据PyTorch公告，Nemotron 3.5模型现可通过ExecuTorch框架在Arm边缘设备上进行流式语音识别部署。该方案利用Arm SME2指令集及KleidiAI微内核，支持FP16与INT8（QC8W）量化以优化性能。测试显示，增加音频块长度可提升转录准确率，其中FP16与FP32精度差异小于0.03个百分点，QC8W量化较FP32仅增加0.21至0.31个百分点的词错误率（WER）。