上传与下载数据文件

DSW提供了数据上传和下载功能,用于文件传输。上传的数据文件可以作为数据源进行模型训练和评估,模型训练完成后,您可以将得到的预测结果或者模型导出,用在其他应用程序或系统中进行服务部署。本文为您介绍如何在NotebookWebIDE页面上传与下载数据文件。

背景信息

通过DSW上传或下载数据时,您可以根据文件大小选择对应的操作方式。

  • 当您的单个文件小于等于5 GB,您可以通过以下两种方式上传或下载文件:

    • 使用Notebook上传或下载文件

      说明

      DSWNotebook中提供了文件中转站的功能,当您需要将本地电脑中保存的大模型或其它较大文件上传到DSW实例时,文件中转站可加速文件上传流程,且不会产生额外费用。您的大文件仅需上传一次,就可以在同RAM账号下的多个DSW实例中保存和使用。

    • 使用WebIDE上传或下载文件

  • 当您的单个文件大于5 GB,建议您使用OSSossutil工具将本地文件上传到OSS存储空间后,将OSS创建为数据集并挂载到DSW实例中,从而在DSW实例中直接读取OSS数据。具体操作请参见DSW挂载配置

使用限制

通过Notebook的文件中转站上传文件时,限制如下:

  • 支持多选文件同时上传,同时上传的文件个数不超过5个,超过5个文件的部分会进入排队流程。

  • 暂不支持文件夹上传,如有文件夹上传需求,建议您打包为压缩文件后上传,详情见常见问题

  • 文件中转站中的文件默认有效期为7,文件过期前支持点击延期,每次点击延期会延长7天有效期。

    有效期已经超过7天的文件不支持继续延期。

  • 文件中转站最多存放1000个文件,总容量10 GB。

  • Notebook的工作目录为/mnt/workspace/,如果需要下载的文件在其他目录下,请将文件移动到/mnt/workspace/

前提条件

创建DSW实例。具体操作,请参见创建DSW实例

使用Notebook上传或下载文件

  1. 登录PAI控制台,打开要操作的DSW实例。

  2. Notebook页面上传或下载数据。

    区域

    上传/下载

    说明

    上传

    单击image,或将文件拖拽到文件列表的空白处进行上传,系统会根据文件大小确定上传方式:

    • 文件小于等于10 MB,直接通过浏览器上传到实例。

    • 如果文件大于10 MB,小于等于5 GB,文件会自动上传到文件中转站,再从文件中转站自动保存到实例。

    下载

    右键单击文件,选择Download,即可将文件下载到本地。

    image

  3. (可选)数据中转站文件清理及保存。单击左侧工具栏image,进入文件中转站页面,可查看传输列表或对文件进行操作。

    区域

    说明

    单击image,查看文件中转站的传输列表。

    单击目标文件右侧的image,可进行以下操作:

    • 文件传输完成之后,会自动保存到实例。如果您需要在当前实例重复保存该文件,您可以单击保存至实例将文件保存至当前实例中。如果您需要在同一RAM账号下的其他实例中使用该文件,可以在进入目标实例后单击保存至实例

    • 文件中转站的文件默认有效期为7天,您可以在文件过期前单击延期,延长文件有效期。

    • 单击删除,即可删除文件中转站里的文件,不会删除文件列表中的文件。

    image

使用WebIDE上传或下载文件

  1. DSW实例页面,单击WebIDE

  2. WebIDE页面,单击左侧工具栏image.png,在文档列表中上传或下载数据:

    • 上传文件:右键单击目标目录,选择Upload,按照界面操作指引上传文件。

    • 下载文件:右键单击目标文件,选择Download下载文件。

      说明

      当前只支持下载文件,不支持下载文件夹。如果您需要下载文件夹,可以在Terminal中将文件夹打包,然后通过右键菜单进行下载。

常见问题

如何上传下载文件夹

目前DSW不支持直接上传和下载文件夹,但您可以通过打包为压缩文件的方式实现文件夹的上传和下载。DSW Terminal提供了一个Linux环境,可以使用标准的Linux命令行工具,如targzipunzip等,来解压缩文件。以tar为例使用示例如下。

  1. 使用tar --version查看tar是否安装,如果没有,则可参考如下命令进行安装。

    # 对于基于Debian的系统(例如 Ubuntu)的安装命令
    sudo apt install tar
    
    # 基于Red Hat的系统(例如CentOS、Fedora)的安装命令
    sudo yum install tar
  2. 解压缩文件夹。

    # 压缩文件夹, /path/to/diretory为要压缩的文件夹
    tar -cvf archive_name.tar /path/to/directory
    
    # 解压文件夹
    tar -xvf archive_name.tar

相关文档

  • 数据上传完成后,您可以使用DSW,DSWPAI产品的云端机器学习开发IDE,为您提供交互式编程环境,详情请参见什么是DSW

  • DSW支持接入多种数据源,包括OSS、NASMaxCompute,详情请参见读写数据