KSpeed的使用流程-阿里云帮助中心

KSpeed是阿里云自研的面向存算分离场景中分布式计算任务的数据加载加速服务。KSpeed通过上层应用和底层集群架构协同设计，提供全用户态的、主动的数据预加载和按需预取功能，将工作数据集快速加载到离任务计算最近的CPU内存或者GPU显存上，为分布式计算任务提供高效的数据加载加速支持。KSpeed提供了易用的Python API，语义与打开文件、读取文件等数据操作接口接近，便于用户快速入手使用。KSpeed目前仅提供对Pytorch深度学习框架的支持。本文介绍KSpeed的使用流程，帮助您快速上手使用KSpeed数据加载加速库。

KSpeed使用流程如下所示：

部署KSpeed服务集群

KSpeed采用服务端-客户端架构，服务端将提供数据主动预加载暂存功能。使用KSpeed数据加载加速库时，需要首先部署KSpeed服务。

安装KSpeed whl包

通过安装KSpeed whl，包含KSpeed客户端，提供数据读写相关API等，与服务集群进行通信，进而协同实现高性能的数据加载加速功能。

修改训练模型Dataset

客户端安装KSpeed whl包后，调用KSpeed API对模型训练的Dataset进行修改适配，使用KSpeed进行数据加载。

运行模型训练

用户最小仅需修改模型训练脚本的Dataset，就可以对接Pytorch数据加载模块，进行模型训练。