背景

本文介绍如何使用阿里巴巴的开源工具Datax 实现从 Prometheus 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README

下面将首先介绍 DataX 工具本身,以及本次迁移工作涉及到的两个插件(Prometheus Reader 和 TSDB Writer)。

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具 / 平台,实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Prometheus Reader

Prometheus Reader 是 DataX 的一个插件,实现了从 Prometheus 读取数据。

TSDB Writer

TSDB Writer 是 DataX 的一个插件,实现了将数据点写入到Lindorm时序引擎中。

Quick Start

步骤一:环境准备
  • Linux
  • JDK(1.8 以上,推荐 1.8)
  • Python(推荐 Python 2.6.x)
  • Prometheus(目前只支持兼容 2.9.x,其他版本暂不保证兼容)
  • Lindorm时序引擎(目前只支持兼容 2.4.x 及以上版本,其他版本暂不保证兼容)
步骤二:下载 DataX 及其插件

点击 链接

步骤三:利用 DataX 自带的迁移任务,检查迁移流程能否走通

这里,我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境,特别适合用来测试流程是否能走通。简单介绍下这两个插件,其中 Stream Reader 会随机地产生字符串,而 Stream Writer 则会将接受到的字符串输出到控制台,以此模拟一个最简单的数据迁移过程。

  • 工具部署

    将下载后的安装包,解压至某个目录(作为 DATAX_HOME),即可运行迁移任务:

    $ cd ${DATAX_HOME}
    $ python bin/datax.py job/job.json        
  • 检查任务是否成功

    下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

    任务启动时刻                    : 2019-04-26 11:18:07
    任务结束时刻                    : 2019-04-26 11:18:17
    任务总计耗时                    :                 10s
    任务平均流量                    :          253.91KB/s
    记录写入速度                    :          10000rec/s
    读出记录总数                    :              100000
    读写失败总数                    :                   0
    						

    录制的命令行:数据迁移 Quick Start

步骤四:配置和启动 OpenTSDB 到 时序引擎 的迁移任务

通过上述 Stream Reader 到 Stream Writer 的迁移任务,我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 Prometheus Reader 到 TSDB Writer 迁移任务了。

  • 配置迁移任务

    配置一个从 Prometheus 数据库同步抽取数据到 TSDB 的任务,命名为prometheus2tsdb.json,完整的配置信息如下(针对各个配置参数的详细说明,请看下一章节”参数说明”):

    {
      "job": {
        "content": [
          {
            "reader": {
              "name": "prometheusreader",
              "parameter": {
                "endpoint": "http://localhost:9090",
                "column": [
                  "up"
                ],
                "beginDateTime": "2019-05-20T16:00:00Z",
                "endDateTime": "2019-05-20T16:00:10Z"
              }
            },
            "writer": {
              "name": "tsdbhttpwriter",
              "parameter": {
                "endpoint": "http://localhost:8242"
              }
            }
          }
        ],
        "setting": {
          "speed": {
            "channel": 1
          }
        }
      }
    }
    						
  • 启动 OpenTSDB 2 时序引擎 迁移任务
    $ cd ${DATAX_HOME}/..
    $ ls
      datax/  datax.tar.gz  prometheus2tsdb.json
    $ python datax/bin/datax.py prometheus2tsdb.json
    						
  • 检查任务是否成功

    下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

    任务启动时刻                    : 2019-05-20 20:22:39
    任务结束时刻                    : 2019-05-20 20:22:50
    任务总计耗时                    :                 10s
    任务平均流量                    :           122.07KB/s
    记录写入速度                    :            1000rec/s
    读出记录总数                    :                10000
    读写失败总数                    :                   0
    						

    录制的命令行:从 Prometheus 到 TSDB 数据迁移

参数说明

接下来,我们来看下各个配置项的含义:

Prometheus Reader 相关
名称 类型 是否必需 描述 默认值 举例
endpoint String Prometheus  的 HTTP 连接地址 http://127.0.0.1:9090
column Array 数据迁移任务需要迁移的 Metric 列表 [] ["m"]
beginDateTime String 和 endDateTime 配合使用,用于指定哪个时间段内的数据点,需要被迁移 2019-05-13 15:00:00
endDateTime String 和 beginDateTime 配合使用,用于指定哪个时间段内的数据点,需要被迁移 2019-05-13 17:00:00
TSDB Writer 相关
名称 类型 是否必需 描述 默认值 举例
endpoint String 时序引擎 的 HTTP 连接地址 http://127.0.0.1:8242
batchSize Integer 每次批量数据的条数,需要保证大于 0 100 100
maxRetryTime Integer 失败后重试的次数,需要保证大于 1 3 3
ignoreWriteError Boolean 多次重试后,如果该参数设置为 true,则忽略错误,继续写入;否则,则会终止写入任务 false false

注意事项

确保与 时序引擎 的网络是连通的

因为 TSDB Writer 写入数据的方式是调用 HTTP 接口(/api/put)来完成的,所以需要确保迁移任务的进程能正常访问到 时序引擎 暴露出来的 HTTP 接口的。否则,会报错 Connect Exception 异常。

确保与 Prometheus 的网络是连通的

因为 Prometheus Reader 读取数据是通过调用 HTTP 接口(/api/v1/query_range)来完成的,所以需要确保迁移任务的进程能正常访问到 Prometheus 暴露出来的 HTTP 接口的。否则,会报错 Connect Exception 异常。

FAQ

Q:是否支持调整迁移进程的 JVM 内存大小?

A:以”从 Prometheus 到时序引擎的数据迁移任务”为例,启动命令如下:

python datax/bin/datax.py prometheus2tsdb.json -j "-Xms4096m -Xmx4096m"

Q:如何给 时序引擎 设置网络白名单?

A:参考《Lindorm时序引擎 版 > 快速入门 > 设置网络白名单》。

Q:将迁移任务运行在 ECS 上的用户,如何配置 VPC,以及常见问题有哪些?

A:参考《ECS 安全组配置案例》和《VPC 常见问题》。