< 文档首页
全部产品
弹性计算
存储与CDN
会员服务
数据库
网络
域名与网站(万网)
安全
应用服务
移动云
数加·人工智能
数加·大数据分析及展现
数加·大数据基础服务
数加·大数据应用
互联网中间件
管理与监控
视频服务
云通信
开发者工具
阿里云办公
解决方案
培训与认证
物联网
ET大脑
智能硬件
移动云-专有云
更多

    如何提升写入效率

    更新时间：2019-01-24 11:56:39

    ★ 我的收藏
    本页目录

    本文介绍如何通过优化写入的策略提升TSDB 写入效率：

    • 请使用“并发+批量”的方式写入数据。推荐并发大于 256，推荐批量数大于 400。

    • 如果通过SDK提交可以遵循一下写入优化的方面和原则：

      • SDK实例创建和销毁：

        • TSDB SDK在一个进程中只需要创建一个全局实例即可；
        • 写入或者查询直接调用putXXX()或者queryXXX()方法即可，无需调用close()方法；
        • 一般SDK 销毁只需在进行shutdown的时候调用close()方法即可；

      • 批量提交数据点

        • 批量提交数据点相对于单点提交，可以减少网络开销，提高整体吞吐量；
        • SDK默认的异步提交批次大小为500点一批；
      • 线程数设置
        • SDK默认的异步提交消费者线程数为1；
        • 当写入TPS较高时，可以适当调大消费者线程；
      • 异步和同步写入优化
        • 异步写：异步写入调用put()方法即可；SDK的内部处理逻辑为：
          • 1）将Points放入内部队列；
          • 2）消费者线程从内部队列取出小于等于批次大小个数据点，发送个TSDB服务端；
        • 同步写：同步写调用putSync()方法即可；SDK的内部处理逻辑为：
          • 1）直接将方法传入的数据点Point发送给TSDB服务端；
          • 2）同步方法的性能取决于每次提交的点数；
          • 3）用户可以自己在SDK外部自己维护一个队列，来调用同步方法；
    上一篇：SwitchHiTSDBInstancePublicNet
    下一篇：如何减少查询命中时间线提升查询效率
    相关文档
    相关产品
    • 时序时空数据库 TSDB
      时间序列数据库 (Time Series Database , 简称 TSDB) 是一种高性能，低成本，稳定可靠的在线时序数据库服务；提供高效读写，高压缩比存储、时序数据插值及聚合计算，广泛应用于物联网（IoT）设备监控系统 ，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业场景。 TSDB 提供百万级时序数据秒级写入，高压缩比低成本存储、预降采样、插值、多维聚合计算，查询结果可视化功能；解决由于设备采集点数量巨大，数据采集频率高，造成的存储成本高，写入和查询分析效率低的问题。
    • 云数据库 HBase 版
      云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。 阿里云特别提供HBase产品化方案服务广大的中小型客户。
    • 表格存储
      表格存储（Table Store）是构建在阿里云飞天分布式系统之上的 NoSQL 数据存储服务，提供海量结构化数据的存储和实时访问。