RayOrch：面向基础模型数据准备的分布式引擎

发生了什么

据Hugging Face Papers报道，研究提出RayOrch，一种用于基础模型数据准备的编程模型和分布式执行引擎。它通过保留父子关系和有序变量基数扩展，在NVIDIA H20 GPU上实现了显著加速。相比Ray Data和Daft，RayOrch在MinerU和视频管道任务中减少了端到端时间。