代理管理
本文介绍创建代理、部署代理、扩容缩容代理、升级代理的操作步骤。
创建代理
代理支持公网和专有网络(专线或VPN)两种网络类型,请按需选择适合的网络类型。创建代理时需关联已有通道,请提前创建好通道。创建通道的相关操作,请参见通道管理。
通过专线或VPN迁移上云、自建存储迁移上云、源是LocalFs等场景,需要创建通道和代理。
代理必须要部署在内核2.6及以上版本的64位Linux操作系统的机器上,请提前准备好符合需求的机器。
每个地域下最多可创建100个代理,请合理规划使用。
推荐购买7代以上机型的ECS,如ecs.c7.xlarge。
在左侧导航栏,选择代理管理
在代理管理页面,单击新建代理。
在新建代理对话框,配置如下参数,并单击确定。
参数
是否必填
说明
名称
是
代理名称。
代理名称不能为空,长度为3~63个字符。
支持英文小写字母、数字和特殊字符短划线(-)和下划线(_),且区分大小写。
UTF-8编码并且不能以短划线(-)和下划线(_)开头。
网络类型
是
代理的网络连接方式,包含如下两种:
公网(公网):此代理通过公网进行数据迁移。此方式要求代理机器必须可以访问与迁移服务部署地域的在线迁移服务公网域名。例如,您当前控制台在华北2(北京)地域,则此代理机器必须可以访问在线迁移服务华北2(北京)地域的公网域名{TunnelId}.cn-beijing.mgw-tc.aliyuncs.com。
专线/VPN(VPC):此代理通过专线进行数据迁移。此方式要求代理机器必须可以访问与迁移服务部署地域的在线迁移服务内网域名。例如,您当前控制台在华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的内网域名{TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com。建议您使用与迁移服务控制台相同地域的ECS部署代理。
说明TunnelId表示通道ID。
您可以通过ping命令测试代理到迁移服务的连通性。
部署方式
是
代理的部署方式。目前只支持独立进程部署方式。
通道
是
代理所属的通道,一个代理只允许关联一个通道,代理的带宽受通道总带宽影响。
例如:名称为tunnel-1的通道,设置最高带宽为10 Gbit/s,tunnel-1关联3个代理,分别为agent-1,agent-2和agent-3,则3个代理的总带宽之和最高为10 Gbit/s。如果agent-1设置3 Gbit/s的带宽,则agent-2和agent-3仅有7 Gbit/s的带宽可用,请提前规划并谨慎分配带宽。
生成部署代理脚本
前提条件
机器的配置CPU不低于4核,内存不低于8 GB。日志空间不低于4 GB。
推荐您创建新的RAM用户用于部署代理,并为该RAM用户添加AliyunOSSImportReadOnlyAccess权限,并设置授权范围为整个云账号。
说明一个RAM用户的AccessKey可同时用于部署多个代理,并不会相互冲突。
操作步骤
在代理管理页面,单击代理名称,进入代理详情页。
单击部署运行,在部署运行对话框的密钥区域,配置如下参数。
参数
是否必填
说明
AccessKeyId
是
用于代理与在线迁移服务端建立传输通道时完成身份认证,必须有mgw:VerifyAgentTunnel权限。
说明建议遵循最小权限原则,仅授予包含mgw:VerifyAgentTunnel的自定义策略;也可按需授予以下系统策略之一:
AliyunOSSImportReadOnlyAccess(只读管理OSS在线迁移服务的权限)
AliyunOSSImportFullAccess(完整管理权限)
SecretAccessKey
是
单击高级设置区域后的
图标,配置如下参数。
参数
是否必填
说明
CPU核数
否
代理可使用的CPU核数。
不填写:默认使用机器所有CPU核。
设置该值:请根据实际情况谨慎评估,参考控制台提示设置该值。
最大使用内存(GB)
否
代理可使用的最大内存。
不填写:默认使用机器所有内存。
设置该值:请根据实际情况谨慎评估,参考控制台提示设置该值。
日志占用空间(GB)
否
代理日志占用的磁盘空间最大值,达到最大值后日志将会按新旧程度滚动丢弃。
不填写:默认日志占用4 GB。
设置该值:请根据实际迁移文件数进行评估,参考控制台提示设置该值。每迁移100万文件,约产生4 GB磁盘日志。
最大可用带宽
否
代理的最大带宽,受所关联的通道总带宽的影响,不得高于通道设置的最大带宽。例如:
如通道设置最高带宽5 Gbit/s,则单台代理最大可用带宽不得高于5 Gbit/s
如通道未设置最高带宽上限,则代理最大可用带宽不得高于100 Gbit/s。
说明一个代理只允许关联一个通道,代理的带宽受通道总带宽影响。
例如:名称为tunnel-1的通道,设置最高带宽为10 Gbit/s,tunnel-1关联3个代理,分别为agent-1,agent-2和agent-3,则3个代理的总带宽之和最高为10 Gbit/s。如果agent-1设置3 Gbit/s的带宽,则agent-2和agent-3仅有7 Gbit/s的带宽可用,请提前规划并谨慎分配带宽。
单击通过命令部署代理。
部署代理
自动生成的代理部署命令含有代理ID等唯一性信息,只能用于部署当前(单个)代理。当您有多个代理需要部署时,必须为每个代理依次生成部署命令并部署在不同的机器上,否则会导致部署失败或代理状态异常。
当迁移的数据类型为LocalFS(包括LocalFS迁移至OSS、OSS迁移至LocalFS和LocalFS之间迁移)时,部署代理必须以root身份运行,否则可能会导致文件迁移失败(
chown
、chmod
等系统调用)。
在线部署代理
当代理网络类型选择公网(公网)时,使用在线方式部署代理。
查看通过命令部署运行代理弹出框中内容,登录准备安装代理的部署机(可使用包括阿里云提供的连接工具,如Workbench、VNC或第三方客户端工具)。
在部署机上确认curl命令存在且可用,并在部署机上运行命令
curl -I https://www.aliyun.com
来确认公网的连通性。复制弹出框中运行和部署代理命令,并在部署机上的某级本地磁盘目录(而非Nas等远程挂载目录)里运行该命令,如果运行成功则说明代理部署成功,具体命令格式与参数说明如下(后续可能有更新,请以控制台实际输出为准):
wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>
参数
说明
TunnelID
通道ID。
UID
阿里云账号ID。
AK
AccessKey ID。
SK
AccessKey Secret。
AgentName
代理名称。
AgentID
代理ID。
Endpoint
Endpoint,public表示公网。
AgentDeployMethod
代理的部署方式,default代表独立进程方式。
CpuUsage
指定CPU核数,仅设置该值时才会显示。
MemoryUsage
指定使用内存(GB),仅设置该值时才会显示。
LogMemoryUsage
指定日志占用空间(GB),仅设置该值时才会显示。
MaxBandwidth
指定最大可用带宽(MB),仅设置该值时才会显示。
代理部署成功后,可新建数据地址并关联指定代理,用此数据地址创建的迁移任务,将会在指定代理机器上执行迁移任务。
离线部署代理
当代理网络类型选择专线/VPN(VPC)时,使用离线方式部署代理。
查看通过命令部署运行代理弹出框中内容,登录准备安装代理的部署机(可使用包括阿里云提供的连接工具,如Workbench、VNC或第三方客户端工具)。
手动下载代理安装包aliyun_import_agent_offline_bundle.tar.gz,并将代理安装包放到部署机上。
在部署机上,找到代理安装包的位置,并执行命令
tar -zxvf aliyun_import_agent_offline_bundle.tar.gz
解压代理安装包。解压成功后,进入aliyun_import_agent_offline_bundle目录下,复制弹出框中运行和部署代理命令,并在部署机上的某级本地磁盘目录(而非Nas等远程挂载目录)里运行该命令,如果运行成功则说明代理部署成功,具体命令格式与参数说明如下(后续可能有更新,请以控制台实际输出为准):
chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>
参数
说明
TunnelID
通道ID。
UID
阿里云账号ID。
AK
AccessKey ID。
SK
AccessKey Secret。
AgentName
代理名称。
AgentID
代理ID。
Endpoint
Endpoint,vpc代表专线/VPN。
AgentDeployMethod
代理的部署方式,default代表独立进程方式。
CpuUsage
指定CPU核数,仅设置该值时才会显示。
MemoryUsage
指定使用内存(GB),仅设置该值时才会显示。
LogMemoryUsage
指定日志占用空间(GB),仅设置该值时才会显示。
MaxBandwidth
指定最大可用带宽(MB),仅设置该值时才会显示。
VPCType
网络类型为VPC时的特有参数。
代理部署成功后,可新建数据地址并关联指定代理,用此数据地址创建的迁移任务,将会在指定代理机器上执行迁移任务。
代理扩容
代理缩容
移除需要剔除的代理,具体操作步骤如下:
登录在线迁移控制台,在左侧导航栏,选择地址管理。
单击地址管理页面操作栏的修改选项,弹出修改地址框。
在弹出框里点击代理下拉框,从下拉框中移除需要剔除的代理。
点击确定。
清理代理
在线迁移控制台删除代理
在左侧导航栏,选择代理管理。
单击代理管理页面操作栏中的删除选项,弹出确认删除对话框。
点击确定。
释放代理机器(可选)
如果您确认该机器仅用于迁移目的,并且确保删除后不会对其他业务造成影响,则可以释放该代理机器。
代理升级
暂停迁移任务,具体操作步骤如下:
登录在线迁移控制台,在左侧导航栏,选择迁移任务。
点击迁移任务页面操作栏中的管理选项,进入迁移任务详情页面。
在迁移任务详情页面的下方历史栏中,点击暂停 。
停止代理机器上的代理程序,具体操作步骤如下:
登录代理机器,进入到代理程序根目录(例如
/root/aliyun_import_agent_online_res
)。执行
bash bin/stop.sh
,等待代理程序停止。
查看旧的代理版本号,具体操作步骤如下:
登录代理机器,执行
./bin/drs_import_agent -v
命令,记录下版本号Version
。
部署代理,具体操作步骤如下:
查看代理是否升级成功,具体操作步骤如下:
登录代理机器,进入到代理程序根目录(例如
/root/aliyun_import_agent_online_res
)。执行
./bin/drs_import_agent -v
命令,跟旧的版本号进行比对,如果版本号更新,则说明代理升级成功。
代理进程的查看、启动与停止
代理部署成功后,代理进程会自动启动,通常无需额外操作。
由于代理进程未加入自启动项,故当机器重启或其他原因进程被停止时,需要手动启动代理进程。
当代理不再使用时,建议及时停止代理进程,并删除控制台上对应的代理实例。
查看代理进程的步骤如下:
登录代理机器,进入到代理程序根目录(例如
/root/aliyun_import_agent_online_res
)。执行
ps -ef | grep drs_import_agent
,可看到进程信息,如进程号、运行目录等。代理运行时会产生日志文件,默认生成在代理程序根目录的
logs/
下,日志文件会根据您部署时指定的日志占用空间参数自动滚动。
启动代理进程的步骤如下:
登录代理机器,进入到代理程序根目录(例如
/root/aliyun_import_agent_online_res
)。首先查看代理进程,确认进程不存在时,执行
bash bin/start.sh
来启动代理进程。
停止代理进程的步骤如下:
登录代理机器,进入到代理程序根目录(例如
/root/aliyun_import_agent_online_res
)。执行
bash bin/stop.sh
,等待代理程序停止。当代理停止后,登录迁移服务控制台,查看此代理实例的状态,确认为“连接异常”,则说明代理已完全停止。
代理关键配置参数
部署代理时,会根据您在控制台生成的代理部署命令来个性化配置代理的运行参数。这些参数都保存在部署代理程序根目录的config/
目录下的agent-config.properties
文件中(例如/root/aliyun_import_agent_online_res/config/agent-config.properties
)。
部署完成后的默认配置参数适用于常见的迁移场景,通常无需修改。
以下表格中的仅为代理的部分关键参数,表格中未列出的配置参数请勿修改。
在修改表格中的配置参数前,请务必确认该参数的功能、作用域和修改风险等。
配置项参数 | 有效值 | 说明 |
ssrfBlacklistOn | 默认值: 有效值: | 重要 关闭该功能将会降低代理进程的可控性,存在一定的安全风险。 是否启用SSRF黑名单检测功能。若启用,则在建立任意网络连接前,都检测远端主机的IP地址,若其属于私网地址范围内,则拒绝建立连接。 示例:
私网地址范围包括:
|
allowRedirectProviders | 默认值:空 有效值:任意数据地址类型,如有多个请以 | 说明 在线迁移服务默认所有数据地址类型都不支持重定向,若源、目标地址请求返回重定向状态码时,迁移将报 在访问源、目标地址时,是否支持http协议重定向特性。仅对指定的数据地址类型生效。 示例:
|
当配置项修改完成并保存后,必须重新启动代理进程才能生效。