全部产品

创建及执行数据迁移任务

更新时间:2020-09-22 15:06:44

本文主要介绍如何创建及执行数据迁移任务,实现数据从数据源端读取、加密、压缩后存入闪电立方设备中。

创建及执行迁移任务

  1. 启动闪电立方服务。

    cd /InstallPackage/cube

    ./cube.sh

  2. 在闪电立方界面包括以下共9个操作选项,分别为:

    • 1.start service:启动闪电立方服务

    • 2.stop service:停止闪电立方服务

    • 3.submit job:创建并提交任务

    • 4.delete job:删除已创建的任务

    • 5.re-try failed-job:重试失败任务

    • 7.get job status:获取工作任务状态

    • 8.get download report:获取报表

    • 9.Reset password:重置密码

    • 0.exit menu:退出闪电立方界面,回到系统界面

  3. 首次启动服务,输入9,重置密码。

    说明

    密码长度至少为10位,且需要包含大小写、英文字母、数字及特殊符号。

  4. 输入1和密码,启动闪电立方服务。

  5. 下载数据到闪电立方。

    1. 输入3,创建任务。

    2. 输入1,选择任务类型。其中1代表下载;2代表上传。根据提示输入任务名称、数据源路径和目标路径等信息,确认并提交任务。

      说明

      上传阿里云OSS后,此任务名称将成为OSS Bucket下的默认目录名。数据源路径和目标路径,要以/结尾(比如Source path:/data/10G_10000/),否则有数据丢失的风险。

      1

    3. 提交任务后,输入7,查看任务状态。

      参数说明:

      • JobName:任务名称

      • JobState:任务状态。当任务状态为Running时说明该任务正在运行,任务状态为Succeed时说明该任务已完成数据传输,当任务失败时可输入5重新执行失败的任务。

      • PendingTasks:即将执行的任务数

      • DispatchedTasks:已发送任务数

      • RunningTasks:正在执行的任务数

      • SucceedTasks:已执行成功的任务数

      • FailedTasks:失败任务数

      • ScanFinished:扫描是否完成

  6. (可选)任务完成后,输入8,查看报表信息(文件数量和数据量)。

查看日志

在任务运行过程中,产生的所有运行状态等信息的日志都保存在../InstallPackage/cube/logs路径下,如/opt/Cube/InstallPackage/cube/logs。日志主要包括master.logworker.log

  • 查看master.log日志

    通过查看此日志,可看到所有任务执行的总体情况,执行任务名,执行状态,总任务量,已经成功的执行任务数,失败的任务数,所有的文件是否都扫描完毕等信息。

  • 查看worker.log日志

通过查看此日志,可以追溯具体任务的运行状态、具体任务id、大小以及具体任务文件。