Compute-in-Memory Attention: A Time-Domain Analog Softmax Circuit with RC-Tunable Temperature
研究人员提出了一种基于 RC 可调温度的时域类软最大（Softmax）电路，该电路运行于 GlobalFoundries 22-nm FDSOI 工艺中。该架构直接在存内计算（CIM）生成的电压上操作，无需中间模数转换，通过共享下降斜坡和 RC 衰减参考值生成指数权重并进行归一化。128 元素实现占用面积 9453.42$\mu\mathrm{m}^{2}$，单个元素占 70.2$\mu\mathrm{m}^{2}$；在 13.44 mW 功耗下评估延迟为 242.97 ns，单元素能耗为 25.5 pJ。经蒙特卡洛分析及寄生参数提取验证，128 元素同时评估的均方根误差（RMSE）为 24.46 mV。该电路特性已集成至 MemTorch 硬件感知 Transformer 模型中，其验证损失在理想软最大基线…