EVENT DOSSIER
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将大语言模型的核心组件转换为稀疏事件驱动计算。该团队构建了包含 15 亿参数的全 TTFS 架构，并在 BERT 和 GPT-2 等现代模型上进行了端到端训练实验。结果显示，该方法在自然语言理解和常识推理任务上的表现与人工神经网络相当，但在语言建模困惑度上存在差距。此项工作首次将基于 TTFS 编码的脉冲神经网络扩展至如此大规模，并报告了基于既定成本模型的脉冲计数代理估算值，而非神经形态硬件实测能耗。
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入层、层归一化、注意力相关操作及 Dropout 转换为稀疏事件驱动计算。该团队构建了全 TTFS 架构并实现端到端训练，在 BERT 和 GPT-…
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入、层归一化、注意力相关操作及 Dropout 转换为全 TTFS 架构。该研究首次将基于 TTFS 编码的脉冲神经网络扩展至 15 亿参数规模，并…
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入层、层归一化、注意力相关操作及 Dropout 转换为稀疏事件驱动计算。该团队构建了全 TTFS 架构并实现端到端训练，在 BERT 和 GPT-2 等现代模型上验证了其在自然语言理解和常识推理任务中与人工神经网络相当的性能，尽管语言建模困惑度存在差距。此项工作首次将基于 TTFS 编码的脉冲大语言模型扩展至 15 亿参数规模，并报告了基于既定成本模型的脉冲相关能量估算值。
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入、层归一化、注意力相关操作及 Dropout 转换为全 TTFS 架构。该研究首次将基于 TTFS 编码的脉冲神经网络扩展至 15 亿参数规模，并在 BERT 和 GPT-2 等现代大语言模型上进行了端到端训练实验。结果显示，该方法在自然语言理解和常识推理任务上的表现与人工神经网络相当，但在语言建模困惑度上存在明显差距；同时报告了基于已建立成本模型的脉冲计数代理估算值，而非神经形态硬件实测能耗。