NimoFullCheck是阿里云自主研发的用于检验源端DynamoDB和目的端MongoDB数据一致性的工具。本文档介绍如何使用NimoFullCheck进行一致性校验。

前提条件

您已通过NimoShake将DynamoDB迁移到阿里云数据库。详情请参见使用NimoShake将Amazon DynamoDB迁移至阿里云

背景信息

在通过NimoShake将DynamoDB迁移到阿里云数据库之后,您可以使用NimoFullCheck工具对两端的数据进行一致性校验。

校验主要分为如下两个部分:
  • 轮廓校验:轮廓校验会对DynamoDB表以及MongoDB集合中数目的一致性进行校验,如果数目不一致则直接退出,终止后续的校验,并在屏幕上打印错误信息,便于您定位错误原因。
  • 精确校验:轮廓校验通过后会进入精确校验阶段。精确校验从源端拉取数据并解析,如果有唯一索引则根据唯一索引对比MongoDB数据的一致性。如果没有唯一索引则逐一对比两端所有数据(速度较慢)。

注意事项

  • NimoFullCheck仅支持针对全量数据迁移的校验。如果在增量同步阶段使用NimoShake进行校验,那么得到的结果必然是不一致。
  • NimoFullCheck仅支持单向校验,即仅支持以MongoDB端的数据为基准对DynamoDB的数据进行一致性校验。

操作步骤

本步骤以Ubuntu系统为例,介绍如何使用NimoFullCheck校验DynamoDB和MongoDB的一致性。

  1. 在系统中执行如下命令下载NimoShake包,等待下载完成。
    wget https://github.com/alibaba/NimoShake/releases/download/release-v1.0.0-20191015/nimo.tar.gz
    说明 建议下载最新版本的NimoShake包,下载地址请参见NimoShake
  2. 执行如下命令解压NimoShake包。
    tar zxvf nimo.tar.gz
  3. 解压完成后,输入cd nimo命令进入nimo文件夹。
  4. 执行如下格式的命令对NimoFullCheck注入必要参数并开始校验。
    ./nimo-full-check.linux --<参数名>=<值> --<参数名>=<值>
    各参数的说明如下所示:NimoFullCheck参数
    参数名 说明 示例值
    id 迁移任务ID。即您在使用NimoShake进行迁移的时候设置的ID,详情请参见使用NimoShake将Amazon DynamoDB迁移至阿里云 --id = nimo-shake
    logLevel 日志的等级,取值:
    • none:不打印日志。
    • error:包含错误级别信息的日志。
    • warn:包含警告级别信息的日志。
    • info:反馈当前系统状态的日志。
    • debug:包含调试信息的日志。

    默认值:info。

    --logLevel = info
    sourceAccessKeyID DynamoDB端的AccessKey ID。 --sourceAccessKeyID = xxxxxxxxxx
    sourceSecretAccessKey DynamoDB端的AccessKey。 --sourceSecretAccessKey = xxxxxxxxxx
    sourceSessionToken DynamoDB端的临时秘钥,如没有可以不配置。 --sourceSessionToken = xxxxxxxxxx
    sourceRegion DynamoDB所属的地域,如没有可以不配置。 --sourceRegion = us-east-2
    qpsFull Scan命令对表执行的频率,表示每秒钟最多调用多少次Scan。默认值:10000。 --qpsFull = 10000
    qpsFullBatchNum 每秒拉取多少条数据。默认值:128。 --qpsFullBatchNum = 128
    targetAddress 目的端MongoDB的连接地址。查看MongoDB的地址信息,请参见副本集实例连接说明分片集群实例连接说明

    地址示例:mongodb://username:password@s-*****-pub.mongodb.rds.aliyuncs.com:3717

    --targetAddress = mongodb://username:password@s-*****-pub.mongodb.rds.aliyuncs.com:3717
    diffOutputFile 设置存储差异化结果的文件名。如不填写则默认为nimo-full-check-diff --diffOutputFile = nimo-full-check-diff
    parallel 使用多少条线程进行一致性校验。默认值:16。 --parallel = 16
    sample 设置校验时每个表采样的频率,0为对比表中所有内容。默认值:1000。(1000代表一个表中最多选取1000个文档进行对比) --sample = 1000
    filterCollectionWhite 一致性校验白名单。设置需要通过一致性校验的表名。如--filterCollectionWhite = c1;c2表示仅对C1和C2表进行一致性校验,剩下的表全部过滤。 --filterCollectionWhite = ci;c2
    filterCollectionBlack 一致性校验黑名单。设置不需要通过一致性校验的表名。如--filterCollectionBlack = c1;c2表示除了C1和C2表,剩下的表全部需要通过一致性校验。 --filterCollectionBlack = ci;c2
    convertType 迁移阶段是否对Dynamo协议进行了转换。取值:
    • raw:不对Dynamo协议进行转换,直接写入。
    • change:对Dynamo协议进行转换。如:将{"hello":"1"}转换为{"hello": 1}
    说明 需要和迁移阶段中选择的结果保持一致,如果不一致则检验失败。
    --convertType = change
    version 打印当前NimoFullCheck的版本号。
    说明 此参数没有值,如需打印NimoFullCheck版本号,直接加上--version字段即可。
    --version
    help 显示NimoFullCheck支持的所有参数信息。 --help
    说明 校验成功后,屏幕上会打印full check done! ,如果中途出错导致校验终止,程序会自动关闭并在屏幕上打印对应的错误信息,便于您定位错误原因。