EVENT DOSSIER
The researchers proposed a reference-based strategy that uses Time-to-First Pulse (TTFS) encoding to transform the core components of large language models into sparse event-driven computations. The team constructed a full TTFS architecture with 1.5 billion parameters and conducted end-to-end training experiments on modern models such as BERT and GPT-2. The results showed that this method performed comparable to artificial neural networks in natural language understanding and common sense reasoning tasks, but there was a gap in language modeling complexity. This work was the first to expand pulse neural networks based on TTFS encoding to such a large scale, and reported pulse count estimates based on established cost models, rather than actual energy consumption measured with neural hardware.
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入层、层归一化、注意力相关操作及 Dropout 转换为稀疏事件驱动计算。该团队构建了全 TTFS 架构并实现端到端训练，在 BERT 和 GPT-…
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入、层归一化、注意力相关操作及 Dropout 转换为全 TTFS 架构。该研究首次将基于 TTFS 编码的脉冲神经网络扩展至 15 亿参数规模，并…
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入层、层归一化、注意力相关操作及 Dropout 转换为稀疏事件驱动计算。该团队构建了全 TTFS 架构并实现端到端训练，在 BERT 和 GPT-2 等现代模型上验证了其在自然语言理解和常识推理任务中与人工神经网络相当的性能，尽管语言建模困惑度存在差距。此项工作首次将基于 TTFS 编码的脉冲大语言模型扩展至 15 亿参数规模，并报告了基于既定成本模型的脉冲相关能量估算值。
研究人员提出一种基于参考的策略，利用时间至首脉冲（TTFS）编码将四个核心大语言模型组件嵌入、层归一化、注意力相关操作及 Dropout 转换为全 TTFS 架构。该研究首次将基于 TTFS 编码的脉冲神经网络扩展至 15 亿参数规模，并在 BERT 和 GPT-2 等现代大语言模型上进行了端到端训练实验。结果显示，该方法在自然语言理解和常识推理任务上的表现与人工神经网络相当，但在语言建模困惑度上存在明显差距；同时报告了基于已建立成本模型的脉冲计数代理估算值，而非神经形态硬件实测能耗。