全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件

导入数据

更新时间:2017-09-05 15:25:50

上传数据

用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。

用户首先把作业相关文件上传到OSS Bucket中,请参考OSS上传文件

导入文件

登录后即可通过HTTP访问VPC网络Endpoint导入作业文件。

这里假定用户的作业脚本为test.py,作业数据为test.data;E-HPC集群和OSS都创建在华东1区域;存放作业文件的OSS Bucket名为e-hpc-quickstart,test.py和test.data放在该bucket根目录下。

  1. cd /ehpcdata
  2. wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py
  3. wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data

若当前系统镜像没有安装wget可以通过软件源安装(如’yum install wget’)。或改用curl

  1. curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py
  2. curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data

私有Bucket文件访问临时链接

若Bucket设置为私有访问,则可通过OSS控制台界面点选所需文件,获取临时含签名的URL(带有临时OSSAccessKeyId等参数的访问链接)进行导入,如:

OSS_Signature

自定义签名有效时间后,单击复制文件URL即可获取外部可临时访问的URL。

本文导读目录