使用DataWorks/DataX导入数据_数据通道_HBase 增强版(Lindorm)

云HBase提供BDS服务能够支持各种HBase版本之间相互迁移和实时同步，并且并且支持同步RDS、Loghub的实时数据到HBase。如果您需要从BDS暂不支持的异构数据源导入数据，如从MaxCompute（原ODPS）导入数据到云HBase，则需要使用到DataX这个产品。DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

使用DataX进行数据同步

使用DataX有两种方案：

使用阿里云DataWorks的数据集成服务配置DataX任务
使用开源DataX配置同步任务

使用Dataworks运行Datax配置步骤

创建工作空间，详情请参见创建工作空间。

创建资源组。


资源组类型	配置文档	特点	注意事项
独享资源组	独享资源组模式	独享资源组的机器由DataWorks自动买出，运维完全托管于系统，您无需担心机器服务和可用性等问题	独享资源不支持跨地域使用。例如，华东2（上海）地域的独享资源，只能给华东2（上海）地域的工作空间使用（无法绑定其他区域的VPC），并且独享资源组不能夸Vswtich访问HBase集群
自定义资源组	新增自定义数据集成资源组	仅DataWorks企业版及以上版本支持自定义资源组。自定义资源组的ECS机器由用户自己买出，用户可以将ECS买在HBase的VPC内，从而用内网访问HBase，否则只能用外网访问	自定义资源组的机器完全可控、可登录访问，但是需要自行安装/运维/升级DataX版本(配置文档中有安装方法)
默认资源组	无	默认资源组机器无法从内网访问HBase所在VPC，只能通过公网访问HBase	公网访问HBase会在DataWorks产生额外费用，详见DataWorks按量计费一览表

创建资源组。
推荐使用独享资源组和自定义资源组的方式访问HBase。
配置网络。
- 独享资源组网络配置
  1. 将独享资源组与HBase所在VPC绑定，详情请参见独享资源组模式。
  2. 在VPC控制台中找到独立资源组所绑定的VPC和Vswtich所在的网段。如下图中的192.168.0/24。由于无法知道独立资源组内机器的具体IP，所以必须将整个网段加入HBase的白名单，才可以正常访问HBase。
  3. 添加步骤2中获得的IP段到HBase访问白名单中，添加方法请参见设置白名单。
- 自定义资源组网络配置
  自定义资源组的机器都是用户自己购买，因此能看到每台ECS的具体IP，将这些IP全部配置到HBase访问白名单中即可，添加方法请参见设置白名单
- 默认资源组网络配置
  默认资源组机器的IP段详见添加白名单,将区域对应的IP添加到HBase访问白名单中即可，添加方法见设置白名单。
创建同步任务并绑定资源组
1. 创建同步任务，具体方法参见通过向导模式配置任务
2. 修改插件配置，读写HBase分别使用HBase Writer , HBase Reader插件。
  相关的配置可以参考具体插件的帮助。但是hbase增强版"hbaseconfig"部分不再使用Zookeeper.quorum这个参数连接，而是使用增强版特有的endpoint形式，配置示例如下:
```
"hbaseConfig": {
  "hbase.client.connection.impl" : "com.alibaba.hbase.client.AliHBaseUEConnection",
  "hbase.client.endpoint" : "host:30020",
  "hbase.client.username" : "root",
  "hbase.client.password" : "root"
}
            
```
  说明
  
  hbase.client.connection.impl - 固定配置不需要修改。
  
  hbase.client.endpoint - 用户控制台上提供的Java API访问地址，用户可以参考连接集群获得。
  
  hbase.client.username和password - HBase增强版中用户自己创建的用户名和密码（默认均为root），用户必须保证提供的用户有读写HBase增强版中表的权限（默认提供的root用户已经具有读写所有表的权限）。关于用户和ACL，请参见连接集群章节。
3. 配置任务资源组为上一步创建的资源组。

使用开源datax配置步骤

下载DataX安装包。

点击此处直接下载集成了访问HBase增强版所需jar包的DataX安装包。下载完成后解压DataX的tar包。

如果是已有的DataX版本，或者从GitHub地址下载最新版本的安装包，则需要加入所需的jar包，加入方法如下：

从Java SDK安装中的下载压缩包章节下载1.x版本的alihbase-connector-1.x jar文件，注意只需要alihbase-connector-1.x jar这一个jar文件即可（1.x代表版本号，具体数字为最新的版本号），无需整个压缩包。把下载好的jar包放入datax/plugin/writer/hbase11xwriter/libs目录中。如果需要用DataX读取HBase增强版的数据，则需将此jar包也放入datax/plugin/reader/hbase11xreader/libs目录中。
编辑配置文件。
在DataX中，读取HBase增强版的插件为hbase11xreader，此插件的具体配置可参见hbase11xreader的帮助文档。写入HBase增强版的插件为hbase11xwriter,此插件的具体配置可参见hbase11xwriter的帮助文档。读写HBase增强版的配置与官方的配置除了hbaseconfig部分，其他部分完全一致。hbaseconfig部分不再使用Zookeeper.quorum这个参数连接，而是使用增强版特有的endpoint形式，配置示例如下：
```
...
"hbaseConfig": {
                            "hbase.client.connection.impl" : "com.alibaba.hbase.client.AliHBaseUEConnection",
                            "hbase.client.endpoint" : "host:30020",
                            "hbase.client.username" : "root",
                            "hbase.client.password" : "root"
                        }
...
            
```
其中hbase.client.connection.impl为固定配置，用户将其设置为“com.alibaba.hbase.client.AliHBaseUEConnection”即可启用增强版的Connection。hbase.client.endpoint即用户控制台上提供的Java API访问地址，用户可以参考连接集群获得。hbase.client.username和password为HBase增强版中用户自己创建的用户名和密码（默认均为root），用户必须保证提供的用户有读写HBase增强版中表的权限（默认提供的root用户已经具有读写所有表的权限）。关于用户和ACL，用户可以参考连接集群章节。
启动DataX开始迁移数据，DataX的具体使用方式请参见官方文档

注意事项

迁移开始前，请仔细阅读连接集群章节，根据DataX所部署的ECS需要添加白名单，才能正确访问HBase增强版。同时，如果ECS与HBase增强版不在一个VPC内，则需要使用公网地址访问。