Lindorm时序引擎支持六种数据写入方法:Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。
Native SDK写入
Native SDK适用于Java开发者,Native SDK写入的具体操作,请参见通过Java Native SDK连接并使用Lindorm时序引擎。
NativeSDK写入主要有以下优势:
- 异步写入,写入无需同步等待。
- 数据自动攒批,简化开发流程,提高写入效率。
- 连接池管理,底层自动管理连接复用,无创建大量连接的风险。
- 出错自动重试,无需业务层重试。
- 使用自定义传输编码协议,实现高效的数据编解码。
- 线程安全,业务层无需考虑连接的线程安全问题。
- 支持强、弱、无约束的三种Schema约束策略。
示例
// 连接地址
String url = "http://ld-bp17j28j2y7pm****-proxy-tsdb-pub.lindorm.rds.aliyuncs.com:8242";
// 创建客户端,LindormTSDBClient线程安全,可以重复使用,无需频繁创建和销毁
ClientOptions options = ClientOptions.newBuilder(url).build();
LindormTSDBClient lindormTSDBClient = LindormTSDBFactory.connect(options);
// 创建数据库和表
lindormTSDBClient.execute("CREATE DATABASE demo");
lindormTSDBClient.execute("demo","CREATE TABLE sensor (device_id VARCHAR TAG,region VARCHAR TAG,time BIGINT,temperature DOUBLE,humidity DOUBLE,PRIMARY KEY(device_id))");
// 写入数据
int numRecords = 10;
List<Record> records = new ArrayList<>(numRecords);
long currentTime = System.currentTimeMillis();
for (int i = 0; i < numRecords; i++) {
Record record = Record
.table("sensor")
.time(currentTime + i * 1000)
.tag("device_id", "F07A1260")
.tag("region", "north-cn")
.addField("temperature", 12.1 + i)
.addField("humidity", 45.0 + i)
.build();
records.add(record);
}
CompletableFuture<WriteResult> future = lindormTSDBClient.write("demo", records);
// 处理异步写入结果
future.whenComplete((r, ex) -> {
// 处理写入失败
if (ex != null) {
System.out.println("Failed to write.");
if (ex instanceof LindormTSDBException) {
LindormTSDBException e = (LindormTSDBException) ex;
System.out.println("Caught an LindormTSDBException, which means your request made it to Lindorm TSDB, "
+ "but was rejected with an error response for some reason.");
System.out.println("Error Code: " + e.getCode());
System.out.println("SQL State: " + e.getSqlstate());
System.out.println("Error Message: " + e.getMessage());
} else {
ex.printStackTrace();
}
} else {
System.out.println("Write successfully.");
}
});
// 这里作为示例, 简单同步处理写入结果
System.out.println(future.join());
说明 连接地址的获取方法,请参见查看连接地址。
行协议写入
Lindrom时序引擎支持通过InfluxDB®行协议写入数据。建议非Java应用通过行协议写入数据。行协议写入支持设置Schema约束策略,默认设置为弱约束。行协议写入的具体操作,请参见行协议写入。
重要 通过行协议写入时,不同时间精度的数据最终都会转化成毫秒精度存储。比毫秒精度更高的数据,写入时会丢失精度。
示例
POST /api/v2/write?precision=ms&db=default
sensor,device_id=F07A1260,region=north-cn temperature=12.1,humidity=45 1619076780000
sensor,device_id=F07A1260,region=north-cn temperature=13.2,humidity=47 1619076790000
sensor,device_id=F07A1260,region=north-cn temperature=10.6,humidity=46 1619076800000
sensor,device_id=F07A1260,region=north-cn temperature=18.1,humidity=44 1619076780000
sensor,device_id=F07A1260,region=north-cn temperature=19.7,humidity=44 1619076790000
标准SQL写入
下表为标准SQL写入支持的两种写入方法。
写入方法 | 适用场景 | 描述 | 具体操作 |
---|---|---|---|
使用JDBC写入 | Java语言的应用开发 | 使用JDBC写入数据时,需要自己管理连接池或使用Druid管理连接池。 | Java JDBC Driver开发手册 |
使用API写入 | 非Java语言的应用开发 | 时序引擎支持基于HTTP协议的API接口实现SQL交互。 | HTTP API SQL接口开发手册 |
时间序列数据库TSDB的接口写入
对于时间序列数据库TSDB的迁移用户,时序引擎支持使用时间序列数据库TSDB兼容的接口写入数据。下表为时间序列数据库TSDB接口写入的两种方法。
写入方法 | 描述 | 具体操作 |
---|---|---|
多值写入 | 多值写入使用/api/mput接口写入数据。Schema约束策略默认为无约束,即不会创建时序数据表,也不支持SQL查询。建议新业务和迁移用户使用多值模型中其他写入方式写入数据。如果需要使用SQL查询数据,您可以在数据写入前或写入后手动建表,也可以将数据库约束策略设置为弱约束,开启自动建表。代码示例如下:
| 说明 时间序列数据库TSDB里的metric和Lindorm时序引擎里的table相对应。 |
单值写入 | 单值写入同时也是兼容OpenTSDB的写入,单值写入使用/api/put接口写入数据。Schema约束策略默认为无约束,即不会创建时序数据表、也不支持使用SQL查询数据。不再推荐使用。 |
使用remote write数据写入
时序引擎可以作为Prometheus的远端存储,在数据写入后,可以使用PromQL来查询数据。具体操作,请参见对接Prometheus。
使用Flink数据写入
时序引擎支持通过集成Native SDK的Sink插件写入数据。具体操作,请参见使用Flink写入时序引擎。