HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。

使用限制

  • HBase数据源目前仅支持使用Kerberos身份认证方式(后续会逐步支持其他认证方式,敬请期待)。
  • 不同网络连通条件下,HBase各版本的数据同步功能支持情况如下:
    版本独享资源组与数据源通过公网连通独享资源组与数据源通过VPC内网连通
    单机版(0.94.x)支持支持
    标准版(1.1和2.0)不支持支持
    增强版支持支持

操作步骤

  1. 进入数据源管理页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,鼠标悬浮至图标图标,单击工作空间配置
    4. 在左侧导航栏,单击数据源管理,进入数据源管理页面。
    说明 您也可以在数据集成页面进入数据源管理配置数据源,但此方式只支持生产环境的数据源。
  2. 数据源管理页面,单击右上角的新增数据源
  3. 新增数据源对话框中,选择数据源类型为HBase
  4. 新增HBase数据源对话框中,配置各项参数。
    HBase
    参数描述
    数据源名称数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。
    数据源描述对数据源进行简单描述,不得超过80个字符。
    适用环境可以选择开发生产环境。
    说明 仅标准模式工作空间会显示该配置。
    配置信息HBase集群提供给客户端连接的配置信息。

    您可以转换hbase-site.xml为JSON格式,并补充scancachebatch等更多HBase客户端配置,以优化集群与客户端的交互。

    根据使用的HBase版本,您需要配置不同的配置信息:
    说明 当前支持的HBase版本包含单机版(0.94.x)、标准版(1.1和2.0)和增强版。各版本的详细介绍可参见HBase版本选择
    • 如果您使用的是HBase单机版或标准版时,则使用默认的配置信息,您只需要输入对应的ZK信息。
      {
          "hbase.rootdir": "hdfs://localhost:9000/hbase",
          "hbase.zookeeper.quorum": "localhost"
      }
    • 如果您使用的是HBase增强版时,则使用增强版特有的endpoint形式,不再使用zookeeper.quorum参数连接。
      请手动修改HBase增强版(lindorm)数据源的配置信息,示例如下。
      配置信息栏填写:
      {
      
      "hbase.client.connection.impl" : "com.alibaba.hbase.client.AliHBaseUEConnection",
      
      "hbase.client.endpoint" : "host:30020",
      
      "hbase.client.username" : "user1",
      
      "hbase.client.password" : "user2"
      
      }
    特殊认证方式

    选择数据源是否需要进行身份认证。默认选择。目前认证方式仅支持选择Kerberos认证。关于Kerberos认证详细介绍请参见附录:配置Kerberos认证

    keytab文件

    如果特殊认证方式选择为Kerberos认证,请选择需要使用的keytab文件。

    如果没有可用的keytab文件,请单击新增认证文件进行添加。

    conf文件

    如果特殊认证方式选择为Kerberos认证,请选择需要使用的conf文件。

    如果没有可用的conf文件,请单击新增认证文件进行添加。

    principal

    填写Kerberos认证的主体,即Kerberos账户,格式为:主名称/实例名称@领域名。例如****/hadoopclient@**.*** 。

  5. 选择资源组连通性类型为数据集成
  6. 在单击资源组列表下,单击相应资源组后的测试连通性
    数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。详情请参见配置资源组与网络连通
    说明
    • 仅支持独享数据集成资源组测试连通性,详情请参见新增和使用独享数据集成资源组
    • 如果您使用的是HBase增强版(lindorm),请忽略测试连通性时出现的找不到AliHBase类的报错。
    • 如果您使用的是HBase单机版(0.94.x),请忽略连通性失败问题,可以先执行数据同步任务。
  7. 测试连通性通过后,单击完成
说明 Hbase测试连通性会出现失败问题,目前后端服务已支持了多版本兼容。您需要手动在Hbase数据源的配置中,增加HbaseVersion的属性。示例如下:
{
"hbase.zookeeper.quorum": "my-zk:2181",
"hbaseVersion": "2.0.14"
}

后续步骤

现在,您已经学习了如何配置HBase数据源,您可以继续下一个教程。在该教程中,您将学习如何配置HBase插件。详情请参见HBase ReaderHBase Writer