全部产品

BDS服务介绍

更新时间:2019-06-13 12:38:31

BDS 是阿里云针对HBase自主研发的一套迁移同步服务,主要帮助云上的客户进行自建HBase、云HBase集群的数据导入和导出。

概况

1

BDS可以用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等,方便云上客户围绕HBase构建高可用、灵活的业务系统。

对BDS实现原理及优势感兴趣的朋友可以阅读《BDS - HBase数据迁移同步方案的设计与实践》

功能

功能 场景 使用链接
HBase <-> HBase 新旧集群无缝迁移、集群升配、在线离线业务分离、主备容灾、异地多活 HBase集群迁移
HBase多集群实时数据同步
RDS -> HBase、Phoenix 在线离线业务分离、历史库 RDS实时数据同步HBase、Phoenix
HBase 数据导出 数据归档 敬请期待

典型场景

新旧集群无缝迁移

使用范围

  • HBase大版本升级, 1.x 升级 2.x
  • 集群配置升级
  • 集群网络的切换,经典切换VPC
  • 异地跨机房迁移
  • 业务拆分

迁移步骤

2

特点

  1. 不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。
  2. 迁移过程中不会和源集群的HBase交互,只读取源集群的HDFS,尽可能减少对源集群在线业务的影响
  3. 文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量
  4. 高效性,单个节点迁移速度可达到100MB/s,节点数支持水平扩展,能够满足支持TB、PB级别的数据迁移
  5. 稳定性,有完善的错误重试机制,实时监控任务速度和进度,支持任务失败报警
  6. 正确性,能够进行数据校验
  7. 支持自动同步Schema,保证分区一致

在线离线业务分离

业务架构

3

通过BDS,将在线业务数据实时同步到离线集群,结合Spark、MR等大数据组件进行离线的数据分析,从而不影响在线业务的查询

主备容灾

业务流程

4

通过BDS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群,尽可能减少对业务产生的影响,当主集群服务恢复之后,通过BDS同步服务补齐主集群遗漏的数据

RDS实时数据同步到HBase、Phoenix

业务架构

5

通过BDS将RDS数据实时同步到HBase集群

  • 结合Spark、MR等大数据组件进行离线的数据分析,从而不影响在线业务的查询
  • 利用HBase支持动态列的功能,将mysql中多张表构建成一张HBase的大宽表,避免在RDS中进行join查询
  • 做RDS的历史库