合成数据计算量讨论

发生了什么

有观点认为合成数据并非计算轻量化方案，其计算量仅从模型训练转移至数据生成阶段。生成约300T tokens需约3e26 FLOPs，表明计算并未减少。此观点来自X · @theycallmeMohan的评论。