文档

上传与下载数据文件

更新时间:

DSW提供了数据上传和下载功能,用于文件传输。上传的数据文件可以作为数据源进行模型训练和评估,模型训练完成后,您可以将得到的预测结果或者模型导出,用在其他应用程序或系统中进行服务部署。本文为您介绍如何在Notebook或WebIDE页面上传与下载数据文件。

背景信息

通过DSW上传或下载数据时,您可以根据文件大小选择对应的操作方式。

  • 当您的单个文件小于等于5 GB,您可以通过以下两种方式上传或下载文件:

    • 使用Notebook上传或下载文件

      说明

      DSW在Notebook中提供了文件中转站的功能,当您需要将本地电脑中保存的大模型或其它较大文件上传到DSW实例时,文件中转站可加速文件上传流程,且不会产生额外费用。您的大文件仅需上传一次,就可以在同RAM账号下的多个DSW实例中保存和使用。

    • 使用WebIDE上传或下载文件

  • 当您的单个文件大于5 GB,建议您使用OSS的ossutil工具将本地文件上传到OSS存储空间后,将OSS创建为数据集并挂载到DSW实例中,从而在DSW实例中直接读取OSS数据。具体操作请参见读写数据集数据

使用限制

通过Notebook的文件中转站上传文件时,限制如下:

  • 支持多选文件同时上传,同时上传的文件个数不超过5个,超过5个文件的部分会进入排队流程。

  • 暂不支持文件夹上传,如有文件夹上传需求,建议您打包为压缩文件后上传。

  • 文件中转站中的文件默认有效期为7天,文件过期前支持点击延期,每次点击延期会延长7天有效期。

    有效期已经超过7天的文件不支持继续延期。

  • 文件中转站最多存放1000个文件,总容量10 GB。

前提条件

创建DSW实例。具体操作,请参见创建DSW实例

使用Notebook上传或下载文件

  1. 进入DSW开发环境。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应的工作空间。

    3. 在页面左上方,选择使用服务的地域。

    4. 在左侧导航栏,选择模型开发与训练>交互式建模(DSW)

    5. 可选:在交互式建模(DSW)页面的搜索框,输入实例名称或关键字,搜索实例。

    6. 单击需要打开的实例操作列下的打开

  2. Notebook页面上传或下载数据。

    区域

    上传/下载

    说明

    上传

    单击image,或将文件拖拽到文件列表的空白处进行上传,系统会根据文件大小确定上传方式:

    • 文件小于等于10 MB,直接通过浏览器上传到实例。

    • 如果文件大于10 MB,小于等于5 GB,文件会自动上传到文件中转站,再从文件中转站自动保存到实例。

    下载

    右键单击文件,选择Download,即可将文件下载到本地。

    image

  3. (可选)单击左侧工具栏image,进入文件中转站页面,可查看传输列表或对文件进行操作。

    区域

    说明

    单击image,查看文件中转站的传输列表。

    单击目标文件右侧的image,可进行以下操作:

    • 文件传输完成之后,会自动保存到实例。如果您需要在当前实例重复保存该文件,您可以单击保存至实例将文件保存至当前实例中。如果您需要在同一RAM账号下的其他实例中使用该文件,可以在进入目标实例后单击保存至实例

    • 文件中转站的文件默认有效期为7天,您可以在文件过期前单击延期,延长文件有效期。

    • 单击删除,即可删除文件中转站里的文件,不会删除文件列表中的文件。

    image

使用WebIDE上传或下载文件

  1. 在DSW实例页面,单击WebIDE

  2. WebIDE页面,单击左侧工具栏image.png,在文档列表中上传或下载数据:

    • 上传文件:右键单击目标目录,选择Upload,按照界面操作指引上传文件。

    • 下载文件:右键单击目标文件,选择Download下载文件。

      说明

      当前只支持下载文件,不支持下载文件夹。如果您需要下载文件夹,可以在Terminal中将文件夹打包,然后通过右键菜单进行下载。

相关文档

  • 数据上传完成后,您可以使用DSW,DSW是PAI产品的云端机器学习开发IDE,为您提供交互式编程环境,详情请参见什么是DSW

  • DSW支持接入多种数据源,包括OSS、NAS和MaxCompute,详情请参见读写数据