通过OSS加速器加速AI数据传输

更新时间:
复制为 MD 格式

本实验使用OSS加速器加速数据上传下载。

场景简介

本次实验为通过OSS加速器对数据的上传下载进行加速实验。

费用说明

本实验预计一个小时产生费用0元。如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。

实验目的

  • 掌握OSS加速器创建方式;

  • 掌握ossutil使用方式;

  • 掌握OSS加速器挂载方式;

背景知识

本场景主要涉及以下云产品和服务:

前提条件

云起实验室将在您的账号下开通本次实操资源,资源按量付费,需要您自行承担本次实操的云资源费用。

进入实操前,请确保阿里云账号满足以下条件:

  • 已通过实名认证并且账户余额充足。

  • 云资源产生的费用需您自行承担,云起实验室不会向您征收额外费用。

  • 所有实验操作将保留至您的账号,请谨慎操作。

  • 实操结束后,您可以选择继续付费保留资源,或参考手册自动/手动释放资源。

创建专有网络VPC、交换机和安全组

为确保后续任务的网络连通,请务必保证ECS、OSS使用同⼀个VPC。

  1. 在实验室页面右侧的操作区中,我已阅读并同意《阿里云云起实践平台服务协议》,单击开始实操

    image

  2. 创建专有网络VPC和交换机。

    1. 登录专有网络管理控制台

    2. 在左侧导航栏中,单击专有网络

      image

    3. 专有网络页⾯,在右上角切换⾄华东1(杭州)地域,单击创建专有网络

      image

    4. 创建专有网络页⾯,根据下方参数说明配置1个专有网络(VPC)和1台交换机,然后单击确定。更多关于创建专有网络和交换机信息,详情请参见创建和管理专有网络

      说明

      创建一台可用区J的交换机为创建ECS时使用,当前OSS加速器。

      配置项

      说明

      专有网络

      地域

      选择华东1(杭州)。

      名称

      自定义名称。

      IPv4网段

      选择手动输入IPv4地址段。

      输入IPv4网段

      输入IPv4网段,建议您使用RFC私网地址作为专有网络的网段如10.0.0.0/8172.16.0.0/12192.168.0.0/16

      交换机

      名称

      自定义名称。

      可用区

      选择杭州可用区J。

      IPv4网段

      自定义IPv4网段。

      image

      image

    5. 创建专有网络页面,您可查看到创建的专有网络VPC和交换机的ID实例名称等信息。

      image

  3. 创建安全组。

    1. 登录安全组控制台

    2. 在左侧导航栏中,单击安全组

    3. 安全组页⾯,在右上角切换⾄华东1(杭州)地域,单击创建安全组

      image

    4. 在创建安全组页面,输入安全组名称网络选择上面步骤中创建的VPC,安全组类型选择普通安全组

      image

    5. 规则配置中,删除所有默认规则,单击增加规则

      警告

      使用0.0.0.0/0,代表所有IP地址均可以连接远程服务端口,该配置存在安全风险,请谨慎使用。

      image

    6. 新增安全组规则对话框中,增加入方向规则,添加端口SSH(22),单击确定

      说明

      添加端口时,访问来源建请根据《通过Workbench连接实例》中《Workbench相关安全组设置》部分添加相应访问来源。

      image

    7. 再次增加入方向规则,添加HTTP(80)HTTPS(443)端口。

      重要

      添加端口时,访问来源建议选择您的本机IP地址

      image

领取对象存储OSS免费试用

重要
  • 如果您的阿里云账号有领取对象存储OSS的免费试用资格,请您根据下方操作进行领取。免费试用包括标准存储包20GB,下行流量包2GB,请求包20万次,超出额度按量付费,详情请参见按量付费

  • 如果您的阿里云账号已领取过对象存储OSS免费试用资格或已使用完毕,请您创建对象存储OSS。如果您没有开通过OSS服务,系统会提示您开通OSS服务,请按照页面提示开通OSS服务。创建地域建议与ECS服务器一致,本实验示例地域为cn-hangzhou,产品将正常收取费用,详情请参见按量付费

  1. 前往对象存储OSS免费试用

  2. 找到20GB 3个月规格的对象存储OSS卡片,单击立即试用

    image

  3. 对象存储OSS面板,勾选服务协议,单击立即试用

    image

领取云服务器ECS免费试用

重要
  • 如果您的阿里云账号有领取云服务器ECS的免费试用资格,请您根据下方操作进行领取。免费试用包括8个规格可选,最高可试用4vCPU8GiB;7个地域可选,每月免费流量20GB(中国内地地域)+200GB(非中国内地地域);试用ECS不支持备案;个人、企业试用不同享,超出额度按量付费,详情请参见按量付费

  • 如果您的阿里云账号已领取过云服务器ECS免费试用资格或已使用完毕,请您创建云服务器ECS。创建地域建议与前面步骤VPC地域一致,本实验示例地域为cn-hangzhou,产品将正常收取费用,详情请参见按量付费

  1. 前往云服务器ECS免费试用

  2. 找到免费额度300的云服务器ECS免费试用(个人版)卡片,单击立即试用

    image

  3. 云服务器ECS免费试用(个人版)面板,选择免费地域华东1(杭州),根据实际情况选择ECS实例及系统盘,操作系统选择Alibaba Cloud Linux 3.2104 LTS 64,勾选服务协议,单击立即试用

    image

    image

创建阿里云AccessKey

重要

在本实验完成后,若不再使用,建议参考实验手册步骤及时删除阿里云AccessKey。

  1. 前往AccessKey管理

  2. 不建议使用云账号AccessKey对话框,阅读创建主账号AccessKey的风险,如果必须要创建主账号AccessKey,则勾选我确认知晓云账号AccessKey安全风险,然后单击继续使用云账号AccessKey

    image

  3. AccessKey页面,单击创建AccessKey

    image

  4. 根据界面提示完成安全验证。

  5. 创建云账号AccessKey对话框,再次阅读创建主账号AccessKey的风险及主账号AccessKey使用限制,如果确定要创建主账号AccessKey,则勾选我确认知晓云账号AccessKey安全风险,然后单击继续使用云账号AccessKey

    image

  6. 创建AccessKey对话框,保存AccessKey IDAccessKey Secret,然后勾选我已保存好AccessKey Secret,最后单击确定

    配置AccessKey网络访问限制策略,可以限制使用永久AccessKeyAPI请求来源IP地址,将AccessKey调用来源控制在可信的网络环境内,提升AccessKey的安全性。建议您明确AccessKey使用的网络环境,然后单击配置网络访问策略,配置AccessKey的网络访问策略。具体操作,请参见配置主账号的AccessKey级网络访问限制策略

    image

开通OSS加速器

  1. 进入OSS控制台

  2. 在对象存储OSS管理控制台左侧导航栏中,单击Bucket列表

    image

  3. Bucket列表页面,单击Bucket名称

    image

  4. 在左侧导航栏中选择Bucket配置 > OSS加速器

    image

  5. OSS加速器页面,单击创建OSS加速器。在开通提示对话框,阅读并勾选相关服务条款后单击下一步

    image

  6. 创建OSS加速器面板中,先选择目标Bucket所在地域支持的加速器可用区,配置对应的加速器容量,再单击下一步

    image

  7. 创建加速路径面板中,默认加速策略,勾选同步预热,单击下一步 > 确定

    image

    image

在服务器中下载ossutil

  1. 进入云服务器ECS控制台

  2. 在左侧导航中选择实例,地域为华东1(杭州),找到目标实例。

    image

  3. 实例页面找到目标实例,单击左侧操作栏下的远程连接。在远程连接对话框中,选择通过Workbench远程连接 > 立即登录

    image

    image

  4. 登录实例对话框中,连接方式选择终端连接网络连接选择公网认证方式选择密码认证,输入用户自定义密码,单击确定

    image

  5. 执行如下命令,安装unzip包,显示如下图结果表示安装成功。

     yum install -y unzip 

    image

  6. 执行如下命令,下载ossutil包并指定下载后的文件名称为ossutil-2.1.2-linux-amd64.zip

    curl -o ossutil-2.1.2-linux-amd64.zip https://gosspublic.alicdn.com/ossutil/v2/2.1.2/ossutil-2.1.2-linux-amd64.zip

    image

  7. 执行如下命令,解压ossutil压缩包。

    unzip ossutil-2.1.2-linux-amd64.zip

    image

  8. 进入ossutil-2.1.2-linux-amd64目录,执行以下命令,为ossutil文件进行授权。

    cd ossutil-2.1.2-linux-amd64/
    chmod 755 ossutil
  9. 执行以下命令,实现ossutil的全局调用。

    sudo mv ossutil /usr/local/bin/ && sudo ln -s /usr/local/bin/ossutil /usr/bin/ossutil
  10. 执行以下命令,可以看到ossutil相关可以用命令。

    ossutil

    image

  11. 执行以下命令,如果返回ossutil版本号,说明安装成功。

    ossutil version

    image

添加OSS加速器

  1. 执行以下命令,配置ossutil。在当前位置无需输入任何命令,直接按Enter回车键。

    ossutil config

    image

  2. 分别在Please enter Access Key ID位置,输入前面创建的AccessKey ID。在Please enter Access Key Secret位置输入,前面创建的AccessKey Secret,然后直接按Enter回车键。

    image

  3. Please enter Region处输入以下命令。

    说明

    Region信息需与Bucket所在地域一致。

    cn-hangzhou
  4. Please enter Endpoint处输入我们前面步骤中创建的oss加速器域名。

    1. oss加速器域名查询路径为:OSS控制台 > Bucket列表 > 单击目标Bucket名称 > 左侧导航栏中Bucket配置 > OSS加速器

      image

    2. 复制域名至服务器中,按Enter回车键,返回如下结果表示配置成功。

      image

      随后可以体验OSS加速器上传下载文件的速度了。

清理资源

  • 在完成实验后,如果无需继续使用资源,请根据以下步骤,先删除对象存储OSS、云服务器ECS、专有网络VPC、交换机、安全组和阿里云AccessKey,再结束实操。

    • 对象存储OSS。

      1. 前往对象存储OSS控制台

      2. 在左侧导航栏中,单击Bucket列表

        image

      3. Bucket列表页面,单击目标Bucket名称

        image

      4. 在左侧导航栏中,单击删除Bucket

        image

      5. 删除Bucket页面,页面显示可以删除Bucket,当前Bucket资源为空的提示,然后单击立即删除

        image

    • 云服务器ECS。

      1. 进入云服务器ECS控制台

      2. 在左侧导航栏中,单击实例

        image

      3. 单击实例右侧image图标,选择实例状态 > 释放

        image

      4. 释放对话框中,选择立即释放后单击下一步

        image

      5. 勾选我已知晓即将释放的资源与关联资源,并了解相关数据风险,单击确认image

    • 删除安全组

      1. 进入云服务器ECS控制台

      2. 在左侧导航栏中,单击安全组

        image

      3. 单击安全组实例右侧的删除按钮。

        image

      4. 删除安全组对话框中,单击确定

        image

    • 删除VPC和交换机。

      1. 登录专有网络管理控制台

      2. 在左侧导航栏中,单击交换机

        image

      3. 单击交换机右侧的删除按钮。

        image

      4. 在弹出的删除交换机对话框中,单击确定

        image

      5. 在左侧导航栏中,单击专有网络

        image

      6. 单击VPC右侧删除按钮。

        image

      7. 在删除专有网络对话框中,单击确定

        image

    • 删除阿里云AccessKey。

      1. 前往AccessKey管理

      2. 不建议使用云账号AccessKey对话框,阅读创建主账号AccessKey的风险,如果必须要创建主账号AccessKey,则勾选我确认知晓云账号AccessKey安全风险,然后单击继续使用云账号AccessKey

        image

      3. AccessKey页面,找到目标AccessKey,单击右侧操作列下的禁用

        image

      4. 禁用对话框中,单击禁用

      5. AccessKey页面,找到目标AccessKey,单击右侧操作列下的删除

        image

      6. 删除对话框中,输入当前AccessKeyID,单击删除

    • 删除阿里云AccessKey后,选择不保留资源,单击结束实操。在结束实操对话框中,单击确定

      image

  • 在完成实验后,如果需要继续使用资源,选择付费保留资源,单击结束实操。在结束实操对话框中,单击确定。请随时关注账户扣费情况,避免发生欠费。

    image