MiniMind详解预训练数据清洗与DDP断点续训细节

发生了什么

据稀土掘金报道，MiniMind项目公开了让训练流程真正跑起来的工程细节，包括数据清洗、分词器训练及DDP断点续训。数据清洗管线执行格式标准化（JSONL）、启发式清洗（过滤乱码、低质量文本）及动态注入（20%概率注入系统提示，80%概率移除空思考标签）。分词器训练使用自定义BPE，预留缓冲token防止索引偏移。训练栈基于手写PyTorch harness，通过torchrun启动DDP，显式忽略RoPE缓冲区同步。混合精度方面，float16启用GradScaler防止梯度下溢，而bfloat16无需GradScaler。