Lightweight Vision Transformer Compression for On-Device Plant Disease Detection in Resource-Constrained Agricultural Field Conditions
研究人员提出了一种统一的轻量级视觉 Transformer 压缩框架,结合基于二阶敏感度估计的自适应块剪枝(H-BAC)、量化及注意力知识蒸馏技术。该框架通过独立评估各组件并集成至针对农业约束的部署管道中,在辣椒三分类数据集上实现了与 FP32 基线相当的 95.13% 准确率,同时将模型体积缩小至 6.01 MB(INT8),降幅达 74-98%,其中完全集成方案实现 54.5 倍压缩。对比实验显示,同尺寸未剪枝且无蒸馏的直接训练学生模型准确率为 94.87%,表明 H-BAC 与知识蒸馏在特定成本下具有价值。