基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求,表格存储推出了一站式物联网存储IoTstore解决方案,为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、同步等能力。

背景信息

随着物联网技术的快速发展,物联网已广泛应用于制造业、能源、建筑、医疗、交通、物流仓储等多个领域,物联网的应用能够有效节约资源、提高效率、保障安全以及降低成本,帮助各行业实现可持续发展目标。

在物联网场景中根据数据特点进行分类,数据主要包括设备元数据、设备消息数据和设备时序数据三种类型,不同类型数据的存储需求不同。物联网场景中不同类型数据的存储核心需求如下:

  • 设备元数据:主要数据为设备的标识、属性和状态数据,具有高频更新、查询能力要求高等特点,可用于设备管理、设备圈选、设备状态查询,需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。
  • 设备消息数据:主要数据为设备事件上报消息、平台控制指令下发消息和消息推送,具有消息有序性、消息队列多等特点,需要使用消息队列模型存储,并且支持消息保序、大量队列数以及低成本海量数据存储。
  • 设备时序数据:主要数据为传感器采集数据、设备监控数据和设备轨迹数据,具有极少更新、数据规模大等特点,需要使用时序模型存储,并且支持高并发写入、低成本海量数据存储以及灵活的查询分析能力。

表格存储针对物联网场景中的数据存储需求推出了一站式物联网存储IoTstore解决方案,IoTstore解决方案能为物联网场景中的不同类型数据提供统一数据存储平台。同时,支持多种数据源的数据接入、流批计算引擎的对接以及数据可视化展示。

整体架构

物联网存储IoTstore的整体架构如下图所示。

fig_20220526_iotstructure

上行数据接入

支持物联网平台数据、MQTT数据、Kafka数据、EMQX数据、Flink实时流数据等多种数据源的接入。

多模型数据存储

表格存储提供了强大的数据引擎,包括宽表引擎、时序引擎和索引引擎。

  • 宽表引擎:宽表引擎是一个分布式的数据表,用于设备元数据的存储与更新。
  • 时序引擎:时序引擎针对时间序列数据的特点进行设计,提供高压缩比存储,用于设备时序数据的存储与分析。
  • 索引引擎:索引引擎采用了倒排索引、空间索引等存储结构,能够支持全文检索、任意字段组合检索以及统计聚合,用于设备元数据和设备时序元数据的检索。

表格存储针对不同类型的数据提供了宽表(WideColumn)模型、时序(TimeSeries)模型和消息(Timeline)模型三种数据存储模型。

模型 描述
宽表模型 类Bigtable/HBase模型,可应用于元数据、大数据等多种场景,支持数据版本、生命周期、主键列自增、条件更新、局部事务、原子计数器、过滤器等功能。更多信息,请参见宽表模型
时序模型 针对时间序列数据的特点进行设计的模型,可应用于物联网设备监控、设备采集数据、机器监控数据等场景,支持自动构建时序元数据索引、丰富的时序查询能力等功能。更多信息,请参见时序模型
消息模型 针对消息数据场景设计的模型,可应用于IM、Feed流等消息场景。能满足消息场景对消息保序、海量消息存储、实时同步的需求,同时支持全文检索与多维度组合查询。更多信息,请参见消息模型

SQL统一查询

SQL查询为多数据引擎提供统一的访问接口。使用SQL查询,您可以对表格存储中数据进行复杂的查询和高效的分析。

计算生态与可视化对接

  • 支持与Spark、MaxCompute等计算组件无缝对接。
  • 支持对接开源的可视化和分析平台Grafana,用于以多种形式可视化展示数据分析处理结果。

核心优势

物联网存储IoTstore具有丰富的数据整合处理能力,同时为物联网海量存储场景提供了低成本高性能的数据存储方案。

低成本存储

  • 提供数据自动冷热分层存储能力。访问频次高的数据存储在热存储层,满足高性能访问需求;访问频次极低的数据存储在冷存储层,满足低成本存储需求。
  • 针对数据规模大的时序数据提供高压缩比存储,能有效节省存储成本。

统一数据存储平台

为物联网场景中的设备元数据、设备消息数据、设备时序数据提供统一的数据存储平台。其中设备元数据使用宽表模型存储,设备消息数据使用消息模型存储,设备时序数据使用时序模型存储。

Serverless架构

  • 采用存储计算分离架构,存储层、计算层、写入层支持独立弹性。
  • 支持单表10 PB级数据量、万亿条记录数以及千万级别的TPS能力,能实现自动负载均衡以及热点迁移,无需人工介入。

易集成

  • 具有便捷的数据上行链路,支持Kafka、阿里云物联网平台、MQTT、EMQX等物联网数据源接入。
  • 支持与Spark、MaxCompute、Flink等多种计算组件无缝对接。
  • 支持与数据可视化和分析平台Grafana对接,实现分析结果数据可视化展示。
  • 支持将全增量数据投递到数据湖OSS,来满足更低成本的历史数据存储以及更大规模的离线和准实时数据分析需求。

访问安全性

  • 支持身份验证保障用户数据的私密性,支持VPC网络及HTTPS访问。提供多种鉴权和授权机制以及阿里云账号与RAM用户功能,授权粒度达到表级别和API级别。
  • 采用三副本技术,并将数据副本文件保存在不同机架上。同时,保证数据写入强一致,写操作一旦返回成功,保证数据三副本均写入磁盘,并且应用即可立即读取到最新的数据。
  • 采用共享存储架构,单点故障快速检测快速恢复,按照99.99%可用性设计。