< 文档首页
全部产品
弹性计算
存储
数据库
网络
视频与CDN
域名与网站(万网)
应用服务
互联网中间件
移动研发平台EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
管理与监控
云市场
开发者工具
解决方案
智能硬件
会员服务
更多

    如何提升写入效率

    更新时间：2019-01-24 11:56:39

    ★ 我的收藏
    本页目录

    本文介绍如何通过优化写入的策略提升TSDB 写入效率：

    • 请使用“并发+批量”的方式写入数据。推荐并发大于 256，推荐批量数大于 400。

    • 如果通过SDK提交可以遵循一下写入优化的方面和原则：

      • SDK实例创建和销毁：

        • TSDB SDK在一个进程中只需要创建一个全局实例即可；
        • 写入或者查询直接调用putXXX()或者queryXXX()方法即可，无需调用close()方法；
        • 一般SDK 销毁只需在进行shutdown的时候调用close()方法即可；

      • 批量提交数据点

        • 批量提交数据点相对于单点提交，可以减少网络开销，提高整体吞吐量；
        • SDK默认的异步提交批次大小为500点一批；
      • 线程数设置
        • SDK默认的异步提交消费者线程数为1；
        • 当写入TPS较高时，可以适当调大消费者线程；
      • 异步和同步写入优化
        • 异步写：异步写入调用put()方法即可；SDK的内部处理逻辑为：
          • 1）将Points放入内部队列；
          • 2）消费者线程从内部队列取出小于等于批次大小个数据点，发送个TSDB服务端；
        • 同步写：同步写调用putSync()方法即可；SDK的内部处理逻辑为：
          • 1）直接将方法传入的数据点Point发送给TSDB服务端；
          • 2）同步方法的性能取决于每次提交的点数；
          • 3）用户可以自己在SDK外部自己维护一个队列，来调用同步方法；
    上一篇：物联网设备数据上云存储
    下一篇：如何减少查询命中时间线提升查询效率
    相关文档
    相关产品
    • 时序时空数据库
      时序时空数据库产品系列是是广泛应用于物联网（IoT）设备监控系统 ，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业场景的专业数据库产品，提供百万高效写入，高压缩比低成本存储、预降采样、插值、多维聚合计算，查询结果可视化功能；解决由于设备采集点数量巨大，数据采集频率高，造成的存储成本高，写入和查询分析效率低的问题。目前提供：时序数据库 TSDB ，时序数据库 InfluxDB®，时序数据库 Promethues® 和时空数据库 4个产品类型。
    • 云数据库 HBase 版
      云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。 阿里云特别提供HBase产品化方案服务广大的中小型客户。
    • 实时计算
      阿里云实时计算(Alibaba Cloud Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台，广泛适用于流式数据处理、离线数据处理、DataLake计算等多种场景。阿里云实时计算产品彻底规避繁重的底层流式处理逻辑开发工作，助力中国企业向实时化、智能化大数据计算升级转型。