通道服务(Tunnel Service)是基于表格存储数据接口之上的全增量一体化服务。通道服务为您提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道,您可以简单地实现对表中历史存量和新增数据的消费处理。

背景

表格存储适合元数据管理、时序数据监控、消息系统等服务应用,这些应用通常利用增量数据流或者先全量后增量的数据流来触发一些附加的操作逻辑,这些附加操作包括:
  • 数据同步:将数据同步到缓存、搜索引擎或者数据仓库中。
  • 事件驱动:触发函数计算、通知消费端消费或者调用一些API。
  • 流式数据处理:对接流式或者流批一体计算引擎。
  • 数据搬迁:数据备份到OSS、迁移到容量型的表格存储实例等。
您可以利用通道服务针对这些模式轻松构建高效、弹性的解决方案,如下图:

功能

通道服务提供了以下功能:
功能 描述
全增量一体的数据通道

通道服务不仅提供增量数据消费能力,还提供了可并行的全量数据消费以及全量加增量数据消费功能。

增量数据变化保序

通道服务为数据划分一到多个可并行消费的逻辑分区,每个逻辑分区的增量数据按写入时间顺序保序,不同逻辑分区的数据可以并行消费。

消费延迟监控

通道服务通过DescribeTunnel API提供了客户端消费数据RPO(恢复点目标,recovery point objective)信息,并在控制台提供了通道数据消费监控。

数据消费能力水平扩展

通道服务提供了逻辑分区的自动负载均衡功能,提高水平扩展数据消费速度。