全部产品
阿里云办公

在线迁移操作手册

更新时间:2018-09-27 15:04:26

概述

本文用于指导对在线数据同步服务不熟悉的用户进行各项配置,通过举例和说明使用户能够顺利创建同步任务。

第一章介绍在线数据同步服务的登录方式,无法找到入口的用户请参阅本章。

第二章介绍关于数据地址界面的创建、删除操作。数据地址,是定义用于链接用户数据的配置和链接用户数据的凭证。数据地址只作用于同步任务,配置正确的数据地址才能使服务找到您指定数据的源路径,以及需要将这些数据同步到哪里的目的路径。创建数据地址是创建同步任务前的必选操作,无论您的迁移场景中包含NAS或OSS类型的存储,都请参阅本章来建立对应类型的数据地址。

第三章介绍关于同步任务界面的创建、查看和删除操作。同步任务是基于时间调度的迁移执行载体,通过执行同步任务可以达成您将数据从一处迁移到另一处的需求。希望了解同步任务配置详情的用户请参阅本章第一节,不清楚如何查看已经开始的任务详情请参阅本章第二节。

第四章介绍您在使用在线数据同步服务的过程中需要注意的一些事项,如果这些规则不能满足您的业务需求,欢迎联系我们为您进行定制化服务。

—————————详细闪电立方在线迁移操作说明如下——————————-

目录

[一.][登录]

[二.][数据地址]

[1][创建NAS类型数据地址]

[2][创建OSS类型数据地址]

[3][删除数据地址]

[三.][同步任务]

[1][创建同步任务]

[1.1][基本设置]

[1.2][时间计划]

[1.3][流量控制]

[1.4][性能调优]

[2][查看任务详情]

[3][删除同步任务]

[四.][注意事项]

[附件一.][公有云OSS endpoint列表]

登录

您可以通过https://mgw.console.aliyun.com 或从NAS控制台中的文件同步入口进入在线数据同步系统。

迁移平台入口

浏览器地址栏输入https://mgw.console.aliyun.com

NAS控制台中的文件同步入口

NAS控制台中的文件同步入口

数据地址

在创建数据同步任务之前,您需要先创建数据地址,作为同步任务的源和目的。

进入数据地址界面,在界面上方选择需要进行数据同步任务的存储系统所在的区域,点击右上角的创建按钮开始创建一个数据地址。

数据地址界面

数据地址界面

您可以根据自己的存储系统类型(NAS/OSS)来选择创建不同类型的数据地址,如:希望把数据从一个NAS文件存储同步到OSS对象存储,您需要创建一个NAS数据地址和一个OSS数据地址。

创建NAS类型数据地址

NAS类型数据地址需要设置数据名称、数据类型、NAS来源、文件系统、挂载点和子目录,除数据名称和子目录外都可以从下拉列表中直接选择。

NAS类型数据地址设置举例

NAS类型数据地址设置举例

参数说明

数据名称:数据地址ID,用来区分各数据地址,每个用户账号下各区域数据地址不能重名

数据类型:文件存储需要选择NAS

NAS来源:如果您的NAS是阿里云NAS请选择阿里云,否则选则其他

文件系统:NAS文件系统ID,括号中显示的是该NAS协议类型

挂载点:所选NAS的挂载地址

子目录:NAS文件存储下的已存在路径,如果不填默认为目录”/“

创建完成的NAS类型数据地址

创建完成的NAS类型数据地址

注:

1.文件系统中的下拉列表需要在您已经拥有至少一个创建好的NAS文件系统时才会显示内容,挂载点也同样需要您在NAS控制台进行创建,如果您无法在下拉列表中选择合适的文件系统或挂载点,请到NAS控制台进行创建(https://nas.console.aliyun.com), 或检查当前区域与NAS所在区域是否相同。

2.创建第一个NAS数据地址时所需时间可能较长(约3分钟),请您耐心等待,之后创建的数据地址可以立即生效。如果数据地址长时间处于”创建中”状态,您可以点击右上角的刷新按钮更新数据地址状态。

处于创建中状态的数据地址

如果数据地址处于”地址异常”状态,可以使用诊断功能进行诊断并修复异常状态的数据地址。

诊断并修复界面

修复完成界面

恢复正常的数据地址

至此,诊断并修复异常数据地址操作完成。

创建其他NAS类型数据地址

NAS来源选择其他时还需要配置专有网络、交换机和NAS网络地址,这些数据需要与您的NAS文件系统完全匹配才能正常创建数据地址,下图是一个使用FreeNAS创建的NAS类型数据地址举例:

NAS来源为其他的数据地址设置举例

创建OSS类型数据地址

OSS类型数据地址需要设置数据名称、数据类型、OSS Endpoint、AccessKeyId、AccessKey Secret、OSS Bucket、OSSPrefix和云端数据加密,除数据名称和OSSPrefix外都可以从下拉列表中直接选择。

OSS类型数据地址设置举例

参数说明

数据名称:数据地址ID,用来区分各数据地址,每个用户账号下各区域数据地址不能重名

数据类型:文件存储需要选择NAS

OSSEndpoint:选择使用OSS公网(oss-cn-XXX.aliyuncs.com)或内网(oss-cn-XXX-internal.aliyuncs.com)

AccessKey Id/AccessKey Secret:阿里云用户使用云产品的openapi接口验权时需要

OSS Bucket:OSS存储空间ID

OSS Prefix:OSS对象存储路径,不填默认为根目录,不存在的目录会在执行任务时自动创建

云端数据加密:加密策略(KMS加密需要额外付费)

创建完成的OSS类型数据地址

注:

  1. AccessKey Id、AccessKeySecret需要用户到控制台界面进行获取,获取地址:[https://ak-console.aliyun.com/#/accesskey]

  2. 选择使用OSS内网与OSS公网的区别:如果使用OSS内网,创建同步任务时源与目的地址需要在同一个区域;如果使用OSS公网,创建同步任务时源与目的地址可以不在同一个区域,但是会产生公网流量费。

删除数据地址

当确认创建的数据地址不再需要时,您可以点击操作栏中的删除图标来删除创建成功的数据地址。

删除数据地址

注:被用来创建同步任务的数据地址是无法被删除的,必须先删除同步任务才能删除相关数据地址。(删除同步任务详见第三章第3节:删除同步任务)

同步任务

创建同步任务

选择菜单栏中的”同步任务”,进入同步任务管理界面,点击右上角的”创建”按钮开始创建一个同步任务。

同步任务管理界面

基本设置

同步任务的基本信息需要通过基本设置界面配置,该配置界面为必选配置,每次新建作业都必须配置这个界面。您可以在基本设置中设置任务名称、源地址和目的地址。

由NAS到OSS的同步任务基本设置举例

参数说明

任务名称:同步任务ID,用来区分各同步任务,每个用户账号下各区域同步任务不能重名

源地址:数据地址中待迁移数据的源路径

目的地址:数据地址上即将存放数据的目标路径

注:

源地址或目的地址下拉列表中选到的是在数据地址管理界面中该区域内创建成功的数据地址

时间计划

时间计划界面用来对同步任务的时间进行灵活调整,您可以在时间计划中设置导入时间起点、作业开始时间和作业时间间隔。如果不配置此页,默认在创建同步任务完成后立即开始同步源路径下的所有文件。

时间计划配置界面

参数说明

导入时间起点:可选择”全量”(同步源路径下的全部数据)或”指定”(只同步源路径下文件最后修改时间大于该时间起点的数据)

作业开始时间:同步任务开始执行的时间,选择”立即”同步任务会在完成创建的时刻立即执行

作业时间间隔:同步任务每次执行的间隔时间(可改变单位时/天/周)

注:默认勾选”如果任务还在执行中,则不触发”,此配置可以保证在该同步任务执行时间大于您所设的时间间隔时不会重复执行,推荐勾选。

流量控制

流量控制界面用来配置有计划的限流策略,您可以在流量控制中设置限流时间段和最大流量,并以此参数添加限流策略,保证该同步任务按照您指定的限流策略执行。如果不配置此页,默认不进行流量控制,将按照能达到的最大流量执行同步任务。

流量控制配置界面

参数说明

限流时间段:迁移作业执行过程中限制最大流量的时段

最大流量:限流时间段内的数据同步最大流量

注:配置完限流时间段和最大流量后需要点击添加按钮才能成功创建限流策略

1.4 性能调优

性能调优界面用来定义传输作业下每个子任务的文件数量和大小,您可以在流量控制中设置作业的子任务粒度来根据不同的任务改变同步性能,默认每个子任务将最多传输1000个文件,数据量最多1GB。

性能调优配置界面

参数说明

子任务粒度(文件数):同步任务中每个子任务的最大文件数量

子任务粒度(数据量):同步任务中每个子任务的最大数据量

注:该设置会影响同步性能,建议用户在不确定的情况下选择默认值作为子任务粒度

查看任务详情

完成同步任务创建后,点击任务名称旁边的”+”就可以在下方展开任务配置详情界面,在该界面您可以查看在创建同步任务时配置的所有信息。

创建完成的同步任务

任务配置详情界面

您也可以点击任务名称来查看运行历史详情,了解同步任务的执行情况。通常情况下,每个同步任务都会经历正在扫描———扫描完成———执行成功三个状态:

您可以点击任务名称,查看运行历史详情

处于正在扫描状态的任务

处于扫描完成状态的任务

处于执行成功状态的任务

有时任务运行完成后会出现错误状态,您可以点击重试按钮来尝试重新同步失败的文件,也可以下载失败文件列表来查看同步失败文件的详细情况,确认是否由于您的存储系统中的源文件被删除或中间文件丢失等情况导致的同步失败。

处于错误状态的任务

删除同步任务

创建完成的任务会在任务状态栏显示该同步任务的当前状态,您可以通过点击操作栏中的停止按钮来停止一个正常状态的任务,或点击操作栏中的启动按钮来启动一个停止状态的任务。无论处于任何状态,您都可以点击删除按钮将同步任务删除。

处于正常状态的同步任务

处于停止状态的同步任务

注:被用来创建同步任务的数据地址是无法被删除的,必须先删除同步任务才能删除被同步任务占用的数据地址。

注意事项

1.关于同步任务

在线迁移将会按照您预设的时间间隔对源路径的数据进行多次同步,每次任务将会把上次同步后源路径中修改时间被更新的文件同步到目的路径。需要注意的是,如果您在源路径中的新文件修改时间早于上次同步任务的时间,这些文件将不会被同步进入目的路径。

另外,在对文件进行只会改变文件ctime的操作(如更改文件所有者、权限或链接设置)后,建议您使用touch命令更新文件修改时间,保证下次同步任务可以将进行过特殊操作的文件成功更新至目的路径。

如果这种同步方式不能满足您的业务需要,欢迎联系我们为您进行定制化服务。

2.关于文件权限

同步任务的源地址或目的地址中任何一个是OSS类型的数据地址时,目的地址中被同步进来的数据文件权限将变为所有用户可读可写;如果源地址和目的地址都是NAS类型的数据地址,目的地址中被同步进来的数据文件权限会被全部保留。

由于文件只被修改权限后,时间戳不会被更新,因此建议您修改文件权限后使用touch命令更新文件修改时间,保证下次同步任务可以将仅修改过权限的文件成功迁移至目的路径。

3.关于NAS地址

列出的NAS目的地址与NAS源地址在同一个VPC

当您对创建的NAS添加挂载点时,系统会要求您从“VPC网络”下拉框中选择一个VPC网络,下拉框中的每个VPC网络都以名称+地址的方式列出,如下图所示。

000

创建同步任务时,若源地址和目的地址均为NAS数据地址,那么,当您为其中一个地址选择了某个NAS时,另一个地址的下拉框中只会出现与已选NAS在同一个VPC下的NAS地址。因此,若您想在两个NAS之间进行数据迁移,请确保两个NAS地址在同一个VPC下,若不在用一个VPC下,您可以为其中一个NAS重新添加挂载点,选择与另一个NAS相同的VPC。

附:公有云OSS endpoint列表

https://help.aliyun.com/document_detail/31837.html