全部产品
云市场

从 Prometheus 到 TSDB 的数据迁移

更新时间:2019-07-12 16:19:00

背景

本文介绍如何使用阿里巴巴的开源工具Datax 实现从 Prometheus 到 TSDB 的数据迁移。

DataX相关使用介绍请参阅 DataX 的 README 文档。

下面将首先介绍 DataX 工具本身,以及本次迁移工作涉及到的两个插件(Prometheus Reader 和 TSDB Writer)。

DataX

 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具 / 平台,实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Prometheus Reader

 Prometheus Reader 是 DataX 的一个插件,实现了从 Prometheus 读取数据。

TSDB Writer

 TSDB Writer 是 DataX 的一个插件,实现了将数据点写入到阿里巴巴自研 TSDB 数据库中。

Quick Start

步骤一:环境准备

  • Linux
  • JDK(1.8 以上,推荐 1.8)
  • Python(推荐 Python 2.6.x)
  • Prometheus(目前只支持兼容 2.9.x,其他版本暂不保证兼容)
  • TSDB(目前只支持兼容 2.4.x 及以上版本,其他版本暂不保证兼容)

步骤二:下载 DataX 及其插件

 点击 链接 进行下载。

步骤三:利用 DataX 自带的迁移任务,检查迁移流程能否走通

 这里,我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境,特别适合用来测试流程是否能走通。简单介绍下这两个插件,其中 Stream Reader 会随机地产生字符串,而 Stream Writer 则会将接受到的字符串输出到控制台,以此模拟一个最简单的数据迁移过程。

工具部署

 将下载后的安装包,解压至某个目录(作为 DATAX_HOME),即可运行迁移任务:

  1. $ cd ${DATAX_HOME}
  2. $ python bin/datax.py job/job.json

检查任务是否成功

 下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

  1. 任务启动时刻 : 2019-04-26 11:18:07
  2. 任务结束时刻 : 2019-04-26 11:18:17
  3. 任务总计耗时 : 10s
  4. 任务平均流量 : 253.91KB/s
  5. 记录写入速度 : 10000rec/s
  6. 读出记录总数 : 100000
  7. 读写失败总数 : 0

录制的命令行:数据迁移 Quick Start

步骤四:配置和启动 Prometheus 到 TSDB 的迁移任务

 通过上述 Stream Reader 到 Stream Writer 的迁移任务,我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 Prometheus Reader 到 TSDB Writer 迁移任务了。

配置迁移任务

 配置一个从 Prometheus 数据库同步抽取数据到 TSDB 的任务,命名为 prometheus2tsdb.json,完整的配置信息如下(针对各个配置参数的详细说明,请看下一章节”参数说明”):

  1. {
  2. "job": {
  3. "content": [
  4. {
  5. "reader": {
  6. "name": "prometheusreader",
  7. "parameter": {
  8. "endpoint": "http://localhost:9090",
  9. "column": [
  10. "up"
  11. ],
  12. "beginDateTime": "2019-05-20T16:00:00Z",
  13. "endDateTime": "2019-05-20T16:00:10Z"
  14. }
  15. },
  16. "writer": {
  17. "name": "tsdbwriter",
  18. "parameter": {
  19. "endpoint": "http://localhost:8242"
  20. }
  21. }
  22. }
  23. ],
  24. "setting": {
  25. "speed": {
  26. "channel": 1
  27. }
  28. }
  29. }
  30. }

启动 Prometheus 2 TSDB 迁移任务

  1. $ cd ${DATAX_HOME}/..
  2. $ ls
  3. datax/ datax.tar.gz prometheus2tsdb.json
  4. $ python datax/bin/datax.py prometheus2tsdb.json

检查任务是否成功

 下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

  1. 任务启动时刻 : 2019-05-20 20:22:39
  2. 任务结束时刻 : 2019-05-20 20:22:50
  3. 任务总计耗时 : 10s
  4. 任务平均流量 : 122.07KB/s
  5. 记录写入速度 : 1000rec/s
  6. 读出记录总数 : 10000
  7. 读写失败总数 : 0

录制的命令行:从 Prometheus 到 TSDB 数据迁移

参数说明

 接下来,我们来看下各个配置项的含义:

Prometheus Reader 相关

名称 类型 是否必需 描述 默认值 举例
endpoint String Prometheus 的 HTTP 连接地址 http://127.0.0.1:9090
column Array 数据迁移任务需要迁移的 Metric 列表 [] ["m"]
beginDateTime String 和 endDateTime 配合使用,用于指定哪个时间段内的数据点,需要被迁移 2019-05-13 15:00:00
endDateTime String 和 beginDateTime 配合使用,用于指定哪个时间段内的数据点,需要被迁移 2019-05-13 17:00:00

TSDB Writer 相关

名称 类型 是否必需 描述 默认值 举例
endpoint String TSDB 的 HTTP 连接地址 http://127.0.0.1:8242
batchSize Integer 每次批量数据的条数,需要保证大于 0 100 100
maxRetryTime Integer 失败后重试的次数,需要保证大于 1 3 3
ignoreWriteError Boolean 多次重试后,如果该参数设置为 true,则忽略错误,继续写入;否则,则会终止写入任务 false false

注意事项

确保与 TSDB 的网络是连通的

 因为 TSDB Writer 写入数据的方式是调用 HTTP 接口(/api/put)来完成的,所以需要确保迁移任务的进程能正常访问到 TSDB 暴露出来的 HTTP 接口的。否则,会报错 Connect Exception 异常。

确保与 Prometheus 的网络是连通的

 因为 Prometheus Reader 读取数据是通过调用 HTTP 接口(/api/v1/query_range)来完成的,所以需要确保迁移任务的进程能正常访问到 Prometheus 暴露出来的 HTTP 接口的。否则,会报错 Connect Exception 异常。

FAQ

Q:是否支持调整迁移进程的 JVM 内存大小?

A:支持的。以”从 Prometheus 到 TSDB 的数据迁移任务”为例,启动命令如下:

  1. python datax/bin/datax.py prometheus2tsdb.json -j "-Xms4096m -Xmx4096m"

Q:如何给 TSDB 设置网络白名单?

A:参考《时序数据库 TSDB 版 > 快速入门 > 设置网络白名单》。

Q:将迁移任务运行在 ECS 上的用户,如何配置 VPC,以及常见问题有哪些?

A:参考《ECS 安全组配置案例》和《VPC 常见问题》。