全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网

使用容器服务为北京HPC创建OSS数据卷

更新时间:2017-06-07 13:26:11

在集群环境中,物理机上的数据卷有很大的局限性:

  • 容器在机器间迁移时,数据无法迁移
  • 不同机器之间不能共享本地数据卷

另一方面,在高性能计算和深度学习的场景里,需要使用大量的数据。上传、共享和下载数据也需要借助OSSFS和NAS这类数据服务。

为了解决这一矛盾,阿里云容器服务提供第三方数据卷。将各种云存储包装成数据卷,可以直接挂载在容器上,并在容器重启、迁移时自动重新挂载。目前支持 OSSFS 数据卷,您可以通过容器服务快速挂载数据卷。

注意:目前北京HPC仅支持OSS数据卷,后续会提供NAS的支持。

创建OSS bucket

首先您需要创建一个和容器服务处于同一区域中的bucket,并且将权限设置为私有。这样容器应用可以通过内网地址来访问bucket中存储的文件数据,提升访问速度并节省公网带宽:

注:更多的细节可以查看oss新手入门

利用OSS客户端上传和下载数据

建议您在本地电脑上下载云市场中的OSS图形客户端, 您在本地电脑上只需要通过图形用户界面上简单的拖拽实现文件的上传和下载。

在容器服务中创建OSS数据卷

数据卷是Docker提供的容器储存模型,可以实现容器和数据生命周期的解耦,当容器被删除或重建之后数据依然存在;提供了可扩展的插件机制,支持不同的存储实现。

阿里云容器服务内置了针对阿里云的数据卷驱动,支持不同类型的云存储服务:包括NAS(文件存储服务 NFS),OSS(对象存储服务,OSSFS)和云盘(即将推出)。关于数据卷的详细信息可以参阅帮助文档。目前阿里云北京HPC容器服务支持OSS数据卷。

  1. 点击容器服务控制台左侧数据卷,展开数据卷功能。目前仅有OSS数据卷是开放的。

  2. OSS数据卷将oss的bucket包装成数据卷,创建界面如下:

  • 数据卷名:数据卷的id,在集群内唯一。
  • AccessKeyIdAccessKeySecret:访问OSS所需的AK,可以从AK控制台获取。
  • 访问域名:如果bucket跟ECS在同一个区(Region),选内网域名;否则选外网域名。
  • 文件缓存:如果需要在不同机器间同步同一个文件的修改(比如在A机器中修改文件,在B机器中读取修改后的内容),请关闭文件缓存。但请注意,关闭文件缓存将导致ls文件夹变得很缓慢,尤其是同一个文件夹下文件比较多时。没有上述需求时,请打开文件缓存,提高ls的速度。

3. 点击选择Bucket按钮,选择您之前创建neural-art数据卷, 再点击创建

4. 这样就能看到您创建的OSS数据卷已经成功的出现在了数据卷列表中:

5. 此时您集群中的每台HPC机器(包括未来新加入集群的HPC机器)就能在/mnt目录下看到您挂载的数据卷了。您也可以在使用容器服务的时候指定Volumes了。

  1. version: '2'
  2. labels:
  3. aliyun.project_type: "batch"
  4. services:
  5. neural:
  6. image: registry-internal.cn-beijing.aliyuncs.com/cheyang/neural-style:latest
  7. volumes:
  8. - neural-art:/neural
本文导读目录