研究提出时间序列大语言模型渐进式训练套件

发生了什么

据arXiv cs.CL发布，研究提出时间序列大语言模型渐进式能力训练套件，发现专用编码器与按序训练可显著提升模型表现。该套件包含感知、解决和推理三种渐进式能力，使用337K训练和44K评估样本。研究发现专用编码器对感知至关重要，4B模型使用专用编码器超越GPT-4o，而将序列文本化则降低推理准确率8-10点。按序学习能力优于混合学习，但需专用编码器支持。研究还发现能力通过不同网络深度转移而非简单堆叠，且单一阶段达标不代表可进入下一阶段。无目标域数据时，4B TS-LLM在八项域外指标中超越四款7B TS-LLM，提升达11点。