导入OSS作业文件到集群中

您可以提前配置作业数据,并将作业数据及执行文件上传至对象存储OSS。创建作业时,可直接选择OSS中的作业文件,以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。

上传数据至OSS

您可以将作业数据及执行文件上传至对象存储OSS,操作步骤如下:

  1. 选择与E-HPC集群相同的地域开通OSS服务。

    具体操作,请参见开通OSS服务

  2. 创建存储作业的存储空间。

    具体步骤,请参见创建存储空间

  3. 上传作业文件。

    具体步骤,请参见上传文件

通过OSS导入作业到集群

  1. 登录集群。

    具体操作,请参见登录集群

  2. 选择以下一种方式导入:

    • OSS域名导入。

      1. 获取OSS服务的URL。

        具体操作,请参见通过外网访问OSS服务通过内网访问OSS服务

      2. 运行以下命令下载作业和脚本文件:

        本示例中作业脚本为:test.py、作业数据为:test.data。

        • 当前系统已安装wget:

          cd /ehpcdata
          wget http://<Bucket>.<内网Endpoint>//test.py
          wget http://<Bucket>.<内网Endpoint>//test.data
        • 当前系统未安装wget:

          cd /ehpcdata
          curl -O http://<Bucket>.<内网Endpoint>//test.py
          curl -O http://<Bucket>.<内网Endpoint>//test.data
    • 临时链接导入。

      1. 获取存储文件含签名的临时URL。

        具体操作,请参见授权给第三方下载

      2. 运行以下命令下载作业和脚本文件。

        本示例中作业脚本为:test.py、作业数据为:test.data。

        • 当前系统已安装wget:

          cd /ehpcdata
          wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>//test.py
          wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>//test.data
        • 当前系统未安装wget:

          curl -O http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>//test.py
          curl -O http://<bucket>.<region>.aliyuncs.com