本文主要介绍如何创建及执行数据迁移任务,将数据从源端读取、加密、压缩后存入闪电立方设备中,再将数据从闪电立方设备读取、解密、解压至目的数据地址。

挂载闪电立方

在创建及执行数据迁移任务前,先将闪电立方设备挂载到您提供迁移的计算节点上。

  1. 以root用户登录计算节点。
  2. 查看闪电立方设备共享的文件夹。其中业务IP地址,请使用实际值替换。
    showmount -e 业务IP地址

    此处查看结果以/Pool-1/volume_1/cube为例。

  3. 创建挂载点。
    mkdir /mnt/sdlf
  4. 将闪电立方设备挂载到计算节点。其中业务IP地址,请使用实际值替换。
    mount 业务IP地址:/Pool-1/volume_1/cube /mnt/sdlf/
  5. 检查挂载结果。
    df -h闪电立方挂载结果查看

创建及执行源端到闪电立方数据迁移任务

您可以通过以下步骤将数据从数据源读取、加密、压缩后存入闪电立方设备中。

  1. 启动闪电立方服务。
    cd /InstallPackage/cube

    ./cube.sh

    在闪电立方界面包括以下9个操作选项。
    • 1.start service:启动闪电立方服务
    • 2.stop service:停止闪电立方服务
    • 3.submit job:创建并提交任务
    • 4.delete job:删除已创建的任务
    • 5.re-try failed-job:重试失败任务
    • 7.get job status:获取工作任务状态
    • 8.get download report:获取报表
    • 9.Reset password:重置密码
    • 0.exit menu:退出闪电立方界面,回到系统界面
  2. 首次启动服务,输入9,重置密码。
    说明 密码长度至少为10位,且需要包含大小写、英文字母、数字及特殊符号。
  3. 输入1和密码,启动闪电立方服务。
  4. 下载数据到闪电立方。
    1. 输入3,创建任务。
    2. 输入1,选择任务类型。其中1代表下载;2代表上传。
    3. 输入2,选择源端类型。其中1代表OSS;2代表Local
    4. 输入2,选择目的端类型。其中1代表OSS;2代表Local。根据提示输入任务名称、数据源路径和目标路径等信息,确认并提交任务。
      说明 下载到闪电立方后,此任务名称将成为闪电立方中的默认目录名。

      数据源路径和目标路径,要以/结尾(比如Source path: /data/10G_10000/),否则有数据丢失的风险。

      down
    5. 提交任务后,输入7,查看任务状态。
      down_job
      参数说明:
      • JobName:任务名称
      • JobState:任务状态

        当任务状态为Running时说明该任务正在运行,任务状态为Succeed时说明该任务已完成数据传输,当任务失败时可输入5重新执行失败的任务。

      • PendingTasks:即将执行的任务数
      • DispatchedTasks:已发送任务数
      • RunningTasks:正在执行的任务数
      • SucceedTasks:已执行成功的任务数
      • FailedTasks:失败任务数
      • ScanFinished:扫描是否完成
  5. 可选:任务完成后,输入8,查看报表信息(文件数量和数据量)。
    report

创建及执行闪电立方到目的端数据迁移任务

您可以通过以下步骤将数据从闪电立方设备读取、解密、解压数据至目的地址。

  1. 启动闪电立方服务。
    cd /InstallPackage/cube

    ./cube.sh

    在闪电立方界面包括以下9个操作选项。
    • 1.start service:启动闪电立方服务
    • 2.stop service:停止闪电立方服务
    • 3.submit job:创建并提交任务
    • 4.delete job:删除已创建的任务
    • 5.re-try failed-job:重试失败任务
    • 7.get job status:获取工作任务状态
    • 8.get download report:获取报表
    • 9.Reset password:重置密码
    • 0.exit menu:退出闪电立方界面,回到系统界面
  2. 首次启动服务,输入9,重置密码。
    说明 密码长度至少为10位,且需要包含大小写、英文字母、数字及特殊符号。
  3. 输入1和密码,启动闪电立方服务。
  4. 下载数据到目的端。
    1. 输入3,创建任务。
    2. 输入2,选择任务类型。其中1代表下载;2代表上传。
    3. 输入2,选择源端类型。其中1代表OSS;2代表Local。
    4. 输入2,选择目的端类型。其中1代表OSS;2代表Local。根据提示输入任务名称、数据源路径和目标路径等信息,确认并提交任务。
      说明 上传到目的路径后,此任务名称将成为目的路径下的默认目录名。

      数据源路径和目标路径,要以/结尾(比如Source path: /data/10G_10000/),否则有数据丢失的风险。

      upload
    5. 提交任务后,输入7,查看任务状态。
      upload_job
      参数说明:
      • JobName:任务名称
      • JobState:任务状态

        当任务状态为Running时说明该任务正在运行,任务状态为Succeed时说明该任务已完成数据传输,当任务失败时可输入5重新执行失败的任务。

      • PendingTasks:即将执行的任务数
      • DispatchedTasks:已发送任务数
      • RunningTasks:正在执行的任务数
      • SucceedTasks:已执行成功的任务数
      • FailedTasks:失败任务数
      • ScanFinished:扫描是否完成
  5. 可选:任务完成后,输入8,查看报表信息(文件数量和数据量)。
    upload_report

查看日志

在任务运行过程中,产生的所有运行状态等信息的日志都保存在../InstallPackage/cube/logs路径下,如/opt/Cube/InstallPackage/cube/logs。日志主要包括master.logworker.log

  • 查看master.log日志
    通过查看此日志,可以获取所有任务执行的总体情况,包括执行任务名,执行状态,总任务量,已经成功的执行任务数,失败的任务数,所有的文件是否都扫描完毕等信息。upload-log
  • 查看worker.log日志
    通过查看此日志,可以追溯具体任务的运行状态、具体任务id、大小以及具体任务文件。 worker