Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation

SummaryAI generated

研究人员提出一种基于遗传编程的高效硬件感知框架，旨在通过演化异构层特定标量函数来适配 Vision Transformers (ViTs)。该方法利用预训练权重直接进行演化，并结合新型后训练重对齐策略，无需从头重新训练模型。实验结果显示，该方法的演化表达式方差解释度（R²）达到 90% 至 93%，显著优于仅 70% 至 76% 的同质基线。在 ViT-B 和 ViT-L 模型上，该方法分别恢复了 84.32% 和 85.74% 的 ImageNet-1K Top-1 准确率，仅需 20 个训练轮次。通过消除全局归约瓶颈，该方案在保留接近基线准确性的同时，大幅降低了算术复杂度和片外内存流量，有效提升了 ViTs 在边缘加速器上的部署效率。

Related eventsRELATED EVENTS

2026-09-09 05:29OpenAI claims huge maths breakthrough on a famed ‘Millennium Problem’
2026-09-09 06:11OpenAI claims to have solved the Navier-Stokes equation problem, but its originality is questioned by the academic community
2026-09-08 22:00Google DeepMind Maps 9 Billion Possible DNA Variants

All reports (1)SOURCES

↗

A arXiv cs.CV en 2026-09-07 12:00

本文提出一种基于遗传编程（GP）的高效硬件感知框架，利用预训练权重直接演化异构层特定标量函数以适配 Vision Transformers (ViTs)。该方法结合新型后训练重对齐策略，无需从头重新训练模型。实验表明，演化表达式的方差解释度 ($R^2$) 达到 $90\%$-$93\%$，显著优于仅 $70\%$-$76\%$ 的同质基线；在 ViT-B 和 ViT-L 上分别恢复 $84.32\%$ 和 $85.74\%$ 的 Top-1 ImageNet-1K 准确率，仅需 20 个 epoch。该方案通过消除全局归约瓶颈，在保留接近基线准确性的同时，大幅降低了算术复杂度和片外内存流量，有效提升了 ViTs 在边缘加速器上的部署效率。