技术解决方案 / T08

AI 数据基础设施

让计算任务,及时获得需要的数据。

信乘沿数据准备、训练读取、检查点保存和模型使用规划数据基础设施。把文件与对象访问、网络、保护和算力任务放在一起观察,以完整任务效率判断数据供给是否合适。

交流本方案
面向业务结果的设计与交付TECHNOLOGY / XCDATA

01 / TECHNOLOGY

适用客户与典型场景

拥有科研、训练、微调或推理任务的企业与研究团队;适用于数据准备慢、读取等待多或数据资产分散的环境。

02 / TECHNOLOGY

客户面临的挑战

计算资源已投入,任务仍在等待数据或批量预处理。

小文件遍历、顺序读取和检查点写入使用同一种测试解释。

原始数据、工作副本和模型产物缺少来源与版本记录。

03 / TECHNOLOGY

客户最终获得的价值

01

准备更高效

减少无必要的搬运和重复预处理。

02

计算更连贯

根据任务访问节奏规划读写和网络。

03

结果更可复用

明确数据集与产物位置、版本和保护责任。

04 / TECHNOLOGY

方案总体设计

沿采集、准备、训练或推理、检查点与成果保存组织数据基础设施。将共享文件、对象数据集、性能型工作区及容量保存分别按任务选择,XinAI-Compute 负责的资源能力与存储访问路径独立说明,不把 AI 数据平台等同于单一产品。

AI 数据基础设施业务与组件架构图
数据路径按框架与产品接口适配;不默认分层、缓存或所有任务线性加速。 放大图示

05 / TECHNOLOGY

关键设计与实现细节

任务阶段有不同 I/O 特征

小文件样本读取、数据解码、顺序扫描、检查点写入和模型加载分别观测。GPU 等待可能来自预处理、CPU 或网络,不应只看总吞吐就断定存储问题。

数据集版本与路径要固定

记录样本清单、标签、清洗规则和权限,让训练与评估使用可追溯版本。文件路径和对象键由任务程序实际支持决定,文件与对象互通、缓存或加速组件不默认包含。

检查点与成果保护分别安排

检查点大小、间隔、写入窗口和恢复方法需要与训练框架一起验证。任务重启后可恢复到哪一状态、成果如何保留,以及旧版本何时清理,都应有责任人。

多团队访问计入容量和带宽

区分共享原始数据、团队工作区、模型制品及长期保存,容量预测纳入重复副本和试验产物。扩容和并发任务下检查资源竞争,不能承诺任意任务使 GPU 持续满载。

06 / TECHNOLOGY

实施路径与交付内容

梳理任务及数据阶段

交付供给效率相关的配置、检查结果与未达事项;固定数据规模与处理条件记录等待、读取及任务完成时间。

验证读取与检查点

交付检查点恢复相关的配置、检查结果与未达事项;验证约定失败场景下的加载与继续运行。

接入样本和并发任务

交付版本复现相关的配置、检查结果与未达事项;数据、代码、模型和配置能对应到一次任务。

交接版本及成果保护

交付并发使用相关的配置、检查结果与未达事项;记录多任务对网络、计算、存储和容量的占用。

AI 数据基础设施实施步骤与检查点图
每个阶段保留配置、样本、结果和未达事项,由相关责任人确认后推进。 放大图示

07 / TECHNOLOGY

价值验证与验收

以代表性业务和约定条件验证效果,目标、样本及配置在实施前共同确认。

供给效率
固定数据规模与处理条件记录等待、读取及任务完成时间。
检查点恢复
验证约定失败场景下的加载与继续运行。
版本复现
数据、代码、模型和配置能对应到一次任务。
并发使用
记录多任务对网络、计算、存储和容量的占用。

产品与实施分别定义

按你的环境,组合适合的能力。

XS-File/XS-Object:按框架的数据访问方式选择。

XS-Flash/XS-Massive:按性能、容量及组合支持配置。

XinAI-Compute:按需关联任务资源管理。

应用开发、适配与可选组件按项目列明,不将全部组合能力视为单一产品默认配置。

进一步了解

决策前,先把问题说清楚。

存储更快一定能提高 GPU 利用率吗?

要先确认瓶颈来自数据路径。

必须把数据全部放全闪吗?

按工作集与成本分配。

存储是否包含向量库?

需另列上层软件与建设范围。

从另一个角度继续了解

连接相关的业务路径。

现有环境 · 业务样例 · 希望改善的结果

让方案,从你的业务开始。

与信乘交流

可以先交流任务与条件,再共同确定配置、范围和验证方式。也可在联系页关注信乘数据微信服务号继续沟通。