全部产品
云市场

创建及执行数据迁移任务

更新时间:2019-05-24 13:47:05

本文主要介绍如何创建及执行数据迁移任务,实现数据从数据源读取、加密、压缩后存入闪电立方设备中。

挂载闪电立方设备

在创建及执行数据迁移任务前,先将闪电立方设备挂载到您提供迁移的计算节点上。

  1. 以root用户登录计算节点。

  2. 查看闪电立方设备共享的文件夹。其中业务IP地址,请使用实际值替换。

    showmount -e 业务IP地址

    此处查看结果以/Pool-1/volume_1/cube为例。

  3. 创建挂载点。

    mkdir /mnt/sdlf

  4. 将闪电立方设备挂载到计算节点。其中业务IP地址,请使用实际值替换。

    mount 业务IP地址:/Pool-1/volume_1/cube /mnt/sdlf/

  5. 检查挂载结果。

    df -h

    若显示如下信息,则表示挂载成功。

    Image 58

创建及执行任务

  1. 启动闪电立方服务。

    cd /InstallPackage/cube

    ./cube.sh

    Image 35

    在闪电立方界面包括以下共 9 个操作选项,分别为:

    • 1.start service:启动闪电立方服务
    • 2.stop service:停止闪电立方服务
    • 3.submit job:创建并提交任务
    • 4.delete job:删除已创建的任务
    • 5.re-try failed-job:重试失败任务
    • 7.get job status:获取工作任务状态
    • 8.get download report:获取报表
    • 9.Reset password:重置密码
    • 0.exit menu:退出闪电立方界面,回到系统界面
  2. 首次启动服务,输入 9,重置密码。

    说明:密码长度至少为 10 位,且需要包含大小写、英文字母、数字及特殊符号。

    Image 36

  3. 输入 1 和密码,启动闪电立方服务。

    Image 37

  4. 下载数据到闪电立方。

    1. 输入 3,创建任务。
    2. 输入 1,并根据提示输入任务名称、数据源路径和目标路径等信息,确认提交任务。1:下载;2:上传。

      说明:

      • 上传阿里云OSS后,此任务名称将成为OSS Bucket下的默认目录名。
      • 数据源路径和目标路径,要以/结尾(比如Source path: /data/10G_10000/),否则有数据丢失的风险。

      Image 38

    3. 提交任务后,输入 7,查看任务状态。

      Image 39

      参数说明:

      • JobName:任务名称
      • JobState:任务状态。当任务状态为 Running 时说明该任务正在运行,任务状态为 Succeed 时说明该任务已完成数据传输,当任务失败时可输入 5 重新执行失败的任务。
      • PendingTasks:即将执行的任务数
      • DispatchedTasks:已发送任务数
      • RunningTasks:正在执行的任务数
      • SucceedTasks:已执行成功的任务数
      • FailedTasks:失败任务数
      • ScanFinished:扫描是否完成
  5. (可选)任务完成后,输入 8,查看报表信息(文件数量和数据量)。

    Image 40

查看日志

在任务运行过程中,产生的所有运行状态等信息的日志都保存在../InstallPackage/cube/logs路径下,如/opt/Cube/InstallPackage/cube/logs。日志主要包括master.log worker.logmaster.log worker.log

  • 查看master.log日志

    通过查看此日志,可看到所有任务执行的总体情况,执行任务名,执行状态,总任务量,已经成功的执行任务数,失败的任务数,所有的文件是否都扫描完毕等信息。

    masterlog

  • 查看worker.log日志

    通过查看此日志,可以追溯具体任务的运行状态、具体任务id、大小以及具体任务文件。

    workerlog