技术文档
AI 基础设施更新于 2026/11/02

分布式存储与数据分层实践

整理大模型训练场景下的存储需求,介绍数据分层的设计思路与关注指标。

训练场景的存储需求

训练数据读取具有高吞吐、顺序为主的特点,检查点写入则强调带宽稳定与可靠性。

分层设计

  • 热数据放在全闪存并行文件系统
  • 温数据下沉到对象存储,按需回迁
  • 检查点单独规划高速写入路径

关注指标

重点观察单流带宽、聚合吞吐与元数据操作延迟。

沪ICP备2026043883号-1