Meta推出SPDL工具:突破训练AI模型瓶颈,吞吐量提升2-3倍

IT之家 12 月 10 日消息,训练 AI 模型的瓶颈,目前不再仅仅是架构设计,数据管理效率也至关重要。Meta AI 最新推出了开源可扩展且高性能的数据加载(SPDL)工具,通过提升数据加载效率,最终加快 AI 训练速度。

SPDL 工具采用多线程技术,在常规 Python 解释器中(未启用 free-threading 选项)实现了高吞吐量,资源占用更低,并兼容 Free-Threaded Python。

核心优势

SPDL 包含任务执行器(流水线抽象)、构建流水线的实用工具以及高效且线程安全的媒体处理操作,其核心是异步事件循环,负责调度新任务和响应任务完成。SPDL 通过将同步操作委托给线程异步执行,实现真正的并发。

相比较传统基于进程(process)的处理方式,SPDL 工具升级改用基于线程(thread)的加载方式,有效避免了进程间通信的开销,显著提升了数据传输速度。

该工具的另一个亮点在于预取和缓存技术,确保 GPU 始终有数据可供处理,最大程度减少 GPU 空闲时间,提高系统整体效率。

无论是单 GPU 还是大型集群,SPDL 支持跨分布式系统工作,可以高效处理复杂任务;SPDL 工具还无缝兼容主流 AI 框架 PyTorch,方便团队快速采用。

性能

Meta 表示相比传统基于进程的方案,SPDL 吞吐量提升 2-3 倍;此外在禁用 GIL 的 Free-Threaded Python 环境中,SPDL 吞吐量提升 30%。

SPDL 提供性能监控和调优工具,方便用户深入了解数据加载过程并进行优化。

IT之家附上参考地址

标题:Meta推出SPDL工具:突破训练AI模型瓶颈,吞吐量提升2-3倍

地址:http://www.greeer.com/xiwanji/3499.html