对象存储全网统一命名空间解决方案

更新时间:
复制为 MD 格式

统一命名空间介绍

阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。对象存储在混合云的统一命名空间解决方案,给用户提供了统一访问方式,更简单方便的访问存储服务。

使用场景

  • 大规模复杂组织用户形态下,阿里云提供多Region,多集群架构模式对象存储服务。从设计上每个集群提供独立的Endpoint,独立的服务。这种模式下,平台管理员根据业务模式,在不同资源类型集群申请实例,最优使用对象存储。申请实例后,用户访问自己的对象存储服务,各自维护分配到的Endpoint。

  • 为了在复杂组织结构下,更好的进行实例管理,对象存储服务通过赤骥和前端构建单用户统一域名,访问名下所有实例;通过前端自动解析访问Bucket所在集群的方案,减少维护沟通和成本浪费。

限制条件

对象存储全网统一命名空间方案为独立解决方案,如项目需要请联系项目PDSAPD单独评估落地版本。

方案概述

  1. 方案实现流程。12

    • 阿里云白皮书架构图,一朵云的多Region中部署OSS可服务。

    • 检查一朵云中的多Region多集群的对象存储服务HTTPS配置正常。

    • 检查一朵云中的多Region多集群的对象存储服务稳定终态 。

    • 赤骥服务中打开一朵云中跨Region同域名服务。

    • 使用统一域名访问不同Region Bucket。

方案详细步骤及验证

  1. 检查HTTPS配置正常,集群终态。

    1. 登录所有Region OPS1确认集群HTTPS证书中,已经加签同意证书域名;且多Region多集群是稳定的终态。

      1. 查看确认集群HTTPS证书正常。3

      2. 查看所有集群终态正常。45

  2. 赤骥服务中,打开一朵云中跨Region同域名服务。

    1. 通过运维账号登录Apsara Uni-manager运维控制台,在左侧产品运维菜单栏中选产品列表;然后控制台右上角切换Region到中心region;选择存储列的OSS赤骥,运维支持,其他工具,单击Region同域名全部开启。67

    2. 选择天基运维控制台,多Region多集群在打开同域名后的rolling自动完成到终态。

      1. 自动rolling升级配置,所有Region集群到终态。8910

  3. 用同域名访问不同Region不同集群的Bucket。

    1. 选择ossutil进行调试,填写用户的ak,sk和中心Region OSS集群申请的same-endpoint,配置文件,进行调试;返回正常Object则表明访问成功,记录结果。11

  4. 用同域名访问不同Region不同集群Bucket,上传文件。

    1. 选择ossutil进行调试,填写ak,sk,same_endpoint,按照格式进行配置,然后进行调试,返回正常Object拷贝成功,记录结果。

      1. 首先配置当前用户ak、sk和统一域名:

        #./ossutil config -i xxxxx -k yyyyyyyyy -e oss-same-cn-neimeng-env86-d01-a.intra.env86e.shuguang.com

      2. 通过统一域名验证主Region实例的文件上传,验证通过:

        #./ossutil cp ossutil_alpha.tar.gz oss://oss860624/ Succeed: Total num: 1, size: 4,991,631. OK num: 1(upload 1 files). average speed 18217000(byte/s) 0.275624(s) elapsed

      3. 通过统一域名验证从Region实例的文件上传,验证通过:

        #./ossutil cp ossutil_alpha.tar.gz oss://oss870624/ Succeed: Total num: 1, size: 4,991,631. OK num: 1(upload 1 files). average speed 14385000(byte/s) 0.348374(s) elapsed

  5. 假如一朵云从Region离线后,不同Region不同集群Bucket通过同域名上传文件。

    1. 选择ossutil进行调试,填写ak,sk,same_endpoint,按照格式进行配置,然后进行调试,访问返回正常,Object拷贝成功,记录结果。

      1. 首先配置当前用户ak、sk和统一域名:

        #./ossutil_alpha config -i xxxxx -k yyyyy -e oss-same-cn-neimeng-env86-d01-a.intra.env86e.shuguang.com

      2. 通过统一域名查看主Region的实例中对象:

        #./ossutil_alpha ls oss://oss860624/ LastModifiedTime Size(B) StorageClass ObjectName 2021-06-16 16:33:57 +0800 CST 4 Standard C87363BA121297B063E83344E122B6D3 oss://oss860624/404.html Object Number is: 1 0.005929(s) elapsed

      3. 通过统一域名查看从Region的实例中对象:

        #./ossutil_alpha ls oss://oss870624/ LastModifiedTime Size(B) StorageClass ETAG ObjectName 2021-06-24 15:46:56 +0800 CST 0 Standard D41D8CD98F00B204E9800998ECF8427E oss://oss870624/test0624/ 2021-06-24 15:51:25 +0800 CST 8855789 Standard BB03C464B4ED5BBB076B776666D0B3C7 oss://oss870624/test0624/49E (1).7z Object Number is: 2 0.080417(s) elapsed

      4. 通过统一域名验证主Region实例的文件上传,验证通过:

        #./ossutil_alpha cp ossutil_alpha.tar.gz oss://oss860624/ Succeed: Total num: 1, size: 4,991,631. OK num: 1(upload 1 files). average speed 18217000(byte/s) 0.275624(s) elapsed

      5. 通过统一域名验证从Region实例的文件上传,验证通过:

        #./ossutil_alpha cp ossutil_alpha.tar.gz oss://oss870624/ Succeed: Total num: 1, size: 4,991,631. OK num: 1(upload 1 files). average speed 14385000(byte/s) 0.348374(s) elapsed

      6. 通过统一域名,查看当前用户下所有实例信息: #./ossutil_alpha lrb regionlist2CreationTime Region StorageClass BucketName 2021-06-24 15:55:12 +0800 CST cn-neimeng-env86-d01 Standard oss://444 2021-02-10 18:03:29 +0800 CST cn-neimeng-env86-d01 Standard oss://acs-test 2021-03-26 10:23:59 +0800 CST cn-neimeng-env86-d01 Standard oss://adddd …… Bucket Number is: 97 list bucket failure from these endpoint: oss-cn-neimeng-env114-d01-a.intra.env114e.shuguang.com Error: Get http://oss-cn-neimeng-env114-d01-a.intra.env114e.shuguang.com/?marker&prefix&regionList: dial tcp: lookup oss-cn-neimeng-env114-d01-a.intra.env114e.shuguang.com on 10.86.52.1:53: server misbehaving

综上,对象存储在混合云,通过以上统一命名空间解决方案,给用户提供统一访问方式,更简单方便访问存储服务。通过统一域名访问,前端自动解析访问到Bucket所在集群,减少维护沟通和成本浪费。