本文介绍数据迁移之前的准备工作。

网络资源

HTTP/HTTPS列表文件包括2类文件，1个manifest.json文件和1个或多个example.csv.gz文件，单个example.csv.gz文件大小不超过50 MB。example.csv.gz为CSV压缩后的列表文件，manifest.json为对CSV文件进行列配置的文件，支持上传至OSS或者AWS S3。
  1. 创建CSV列表文件
    在本地创建CSV格式的列表文件。列表文件有九列，列与列之间用英文逗号（,）分隔；每行一个文件，文件之间用\n换行。各列的含义如下表所示。
    重要 第二列Key和第九列Url为必填项，其余列可以不填写。
    • 必填列
      列数是否必填名称说明
      第二列是Key迁移后的Object Name为prefix+文件名。

      如果文件名中包含特殊字符（包括中文、空格、制表符等）、链接和文件名均需转码。例如文件名为#￥.jpg，转码后为#%EF%BF%A5.jpg，则列表文件key列中填写为pics/#%EF%BF%A5.jpg。

      第九列是Url在线迁移服务使用该链接的Get请求下载文件内容，Head请求获取文件元数据。
      例如创建的本地列表文件名称为example.csv，格式为CSV，列表文件内容如下所示。
      ,docs/my.docir/example.txt,,,,,,,http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/docs/my.doc
,docs/my.docir/example.log,,,,,,,http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/docs/my.log
    • 完整列
      列数是否必填名称说明
      第一列否Bucket填写待迁移数据所在的源存储桶。
      第二列是Key迁移后的Object Name为prefix+文件名。

      如果文件名中包含特殊字符（包括中文、空格、制表符等）、链接和文件名均需转码。例如文件名为#￥.jpg，转码后为#%EF%BF%A5.jpg，则列表文件key列中填写为pics/#%EF%BF%A5.jpg。

      第三列否Size迁移文件的大小。
      第四列否StorageClass源Bucket的存储类型。
      第五列否LastModifiedDate待迁移文件的最后修改时间。
      第六列否ETag待迁移文件的ETag。
      第七列否HashAlg待迁移文件的Hash算法。
      第八列否HashValue待迁移文件的Hash值。
      第九列是Url在线迁移服务使用该链接的Get请求下载文件内容，Head请求获取文件元数据。
  2. 创建manifest.json文件
    支持配置多个CSV文件，具体内容如下。
    • fileFormat：指定列表文件格式为CSV
    • fileSchema：对应CSV中文件列，请注意顺序。
    • files：
      • key：CSV文件在Bucket中的位置。
      • mD5checksum：16进制的MD5字符串，不区分大小写。例如：91A76757B25C8BE78BC321DEEBA6A5AD，如果不填写该值，则不会做校验。
      • size：列表文件大小。
    示例如下。
    
                                    {
    "fileFormat":"CSV",
    "fileSchema":"Bucket, Key, Size, StorageClass, LastModifiedDate, ETag, HashAlg, HashValue, Url",
    "files":[{
        "key":"dir/example1.csv.gz",
        "mD5checksum":"",
        "size":0
    },{
        "key":"dir/example2.csv.gz",
        "mD5checksum":"",
        "size":0
    }]

}
  3. 您可以选择将创建的2类列表文件上传到OSS或AWS S3。
    • 将创建的2类列表文件上传到OSS的具体操作请参见简单上传。
      说明
      • 列表文件上传到OSS后，在线迁移服务会下载列表文件，并根据指定的地址迁移文件。
      • 新建任务时，请填写文件列表所在Bucket信息，列表路径的格式为列表所在目录/manifest.json，例如dir/manifest.json。
    • 将创建的2类列表文件上传到AWS S3。
      说明
      • 列表文件上传到AWS S3后，在线迁移服务会下载列表文件，并根据指定的地址迁移文件。
      • 新建任务时，请填写文件列表所在Bucket信息，列表路径的格式为列表所在目录/manifest.json，例如dir/manifest.json。

阿里云对象存储OSS

  • 创建目标存储空间（Bucket）

    创建目标存储空间，用于存放迁移的数据。具体操作，请参见创建存储空间。

  • 创建RAM用户并授予相关权限
    1. 登录RAM控制台。
    2. 在左侧导航栏，选择身份管理 > 用户。
    3. 在用户页面，单击创建用户。
    4. 在创建用户页面的用户账号信息区域，输入登录名称和显示名称。
    5. 在访问方式区域，选中控制台访问和OpenAPI调用访问。并保存生成的账号、密码、AccessKey ID和AccessKey Secret。
      1. 控制台访问：设置控制台密码、需要重置密码和MFA多因素认证。
      2. OpenAPI调用访问：自动为RAM用户生成访问密钥（AccessKey），支持通过API或其他开发工具进行访问。
    6. 创建RAM用户成功后，在用户页面，单击目标RAM用户操作列的添加权限，授予RAM用户存储空间读写权限（AliyunOSSFullAccess）。
    7. 授权完成后，在左侧导航栏，单击概览。
    8. 在账号管理区域中，单击用户登录地址下的链接，使用刚创建的RAM用户的用户名和密码进行登录。