HBase数据源

HBase Reader

支持normal和multiVersionFixedColumn模式 ，配置方式参见：HBase字段映射配置指导。。

• normal模式：把HBase中的表当成普通二维表（横表）进行读取，获取最新版本数据。

  hbase:007:0> scan 'student'
  ROW                                   COLUMN+CELL
  s001                                 column=basic:age, timestamp=2026-03-09T14:41:40.240, value=20
  s001                                 column=basic:name, timestamp=2026-03-09T14:41:40.214, value=Tom
  s001                                 column=score:english, timestamp=2026-03-09T14:41:40.333, value=90
  s001                                 column=score:math, timestamp=2026-03-09T14:41:40.277, value=85
  1 row(s) in 0.0580 seconds 

  读取后的数据如下所示。

  rowKey	basic:age	basic:name	score:english	score:math
  s001	20	Tom	90	85

• multiVersionFixedColumn模式：把HBase中的表当成竖表进行读取。读出的每条记录是四列形式，依次为rowKey、family:qualifier、timestamp和value。读取时需要明确指定要读取的列，把每一个cell中的值，作为一条记录（record），若有多个版本则存在多条记录。

  hbase:007:0> scan 'student',{VERSIONS=>5}
  ROW                                   COLUMN+CELL
  s001                                 column=basic:age, timestamp=2026-03-09T14:41:40.240, value=20
  s001                                 column=basic:age, timestamp=2026-03-09T14:30:00.100, value=19
  s001                                 column=basic:name, timestamp=2026-03-09T14:41:40.214, value=Tom
  s001                                 column=score:english, timestamp=2026-03-09T14:41:40.333, value=90
  s001                                 column=score:math, timestamp=2026-03-09T14:41:40.277, value=85
  1 row(s) in 0.0260 seconds }

  读取后的数据（4列） 如下所示。

  rowKey	column:qualifier	timestamp	value
  s001	basic:age	2026-03-09T14:41:40.240	20
  s001	basic:age	2026-03-09T14:30:00.100	19
  s001	basic:name	2026-03-09T14:41:40.214	Tom
  s001	score:english	2026-03-09T14:41:40.333	90
  s001	score:math	2026-03-09T14:41:40.277	85

HBase Writer

• rowkey 生成规则：目前HBase Writer支持源端多个字段拼接作为HBase表的rowkey。

• 写入HBase的版本（时间戳）支持：

  • 指定当前时间作为版本。

  • 指定源端列作为版本。

  • 指定一个时间作为版本。

离线读

• 支持读取HBase数据类型及HBase Reader针对HBase类型的转换列表如下表所示。

  类型分类	数据集成column配置类型	数据库数据类型
  整数类	long	short、int和long
  浮点类	double	float和double
  字符串类	string	binary_string和string
  日期时间类	date	date
  字节类	bytes	bytes
  布尔类	boolean	boolean

• HBase20xsql Reader支持大部分Phoenix类型，但也存在个别类型未被支持的情况，请注意检查您的类型。

• HBase20xsql Reader针对Phoenix类型的转换列表，如下所示。

  DataX内部类型	Phoenix数据类型
  long	INTEGER、TINYINT、SMALLINT、BIGINT
  double	FLOAT、DECIMAL、DOUBLE
  string	CHAR、VARCHAR
  date	DATE、TIME、TIMESTAMP
  bytes	BINARY、VARBINARY
  boolean	BOOLEAN

离线写

支持读取HBase数据类型，HBase Writer针对HBase类型的转换列表，如下表所示。

单表离线同步任务配置指导

• 操作流程请参见向导模式配置、脚本模式配置。

  使用向导模式时，由于HBase为无固定结构的数据源，默认不会显示字段映射，您需要手动配置字段映射。

  HBase作为数据来源时，首先需要选择输出模式：横表（normal 模式）和竖表（multiVersionFixedColumn 模式）。

  两种模式下的字段映射配置方式不同：

  • 横表（normal）模式：默认模式，将HBase表按普通二维表读取，获取最新版本数据。HBase作为数据来源，需要配置来源字段和目标字段的映射关系。如图所示，源端与目的端字段为一一映射关系。当前数据源类型由于源端表无固定字段，默认为同行映射，如需改变映射关系，需手动编辑字段顺序。

    新版数据开发

    

    旧版数据开发

    

    目标表写入结果：

    

  • 竖表（multiVersionFixedColumn）模式：每条输出记录由4列组成（rowKey、family:qualifier、timestamp、value），可读取多版本数据。来源字段配置格式为：ColumnFamily:Qualifier（如basic:age），目标端为固定的4列表（字段为如row_key、cf、timestamp_col、value）。配置时，无需关注映射关系。

    新版数据开发

    

    旧版数据开发

    

    目标表结果：

    

  • HBase作为数据去向（仅支持normal模式），需要分别配置目标字段和rowkey。其中，rowkey字段可以由多个源端字段拼接而成。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见脚本模式配置，以下为您介绍脚本模式下数据源的参数配置详情。

HBase Reader脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        {
            "stepType":"hbase",//插件名。
            "parameter":{
                "mode":"normal",//读取HBase的模式，支持normal模式、multiVersionFixedColumn模式。
                "scanCacheSize":"256",//HBase client每次RPC从服务器端读取的行数。
                "scanBatchSize":"100",//HBase client每次RPC从服务器端读取的列数。 
                "hbaseVersion":"094x/11x",//HBase版本。
                "column":[//字段。
                    {
                        "name":"rowkey",//字段名。
                        "type":"string"//数据类型。
                    },
                    {
                        "name":"basic:age",
                        "type":"string"
                    },
                    {
                        "name":"basic:name",
                        "type":"string"
                    },
                    {
                        "name":"score:english",
                        "type":"string"
                    },
                    {
                        "name":"score:math",
                        "type":"string"
                    }
                ],
                "range":{//指定HBase Reader读取的rowkey范围。
                    "endRowkey":"",//指定结束rowkey。
                    "isBinaryRowkey":true,//指定配置的startRowkey和endRowkey转换为byte[]时的方式，默认值为false。
                    "startRowkey":""//指定开始rowkey。
                },
                "maxVersion":"",//指定在多版本模式下的HBase Reader读取的版本数。
                "encoding":"UTF-8",//编码格式。
                "table":"student",//表名。
                "hbaseConfig":{//连接HBase集群需要的配置信息，JSON格式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",//目标端插件名。此处以MaxCompute为例，您可以根据实际情况替换为其他Writer插件。
            "parameter":{
                "partition":"",//目标表的分区信息。非分区表无需配置。
                "truncate":true,//写入前是否清空表或分区中的数据，true表示清空。
                "datasource":"odps_datasource",//MaxCompute数据源名称。
                "column":[//目标端字段列表。
                    "rowkey",
                    "basic_age",
                    "basic_name",
                    "score_english",
                    "score_math"
                ],
                "table":"student_target"//MaxCompute目标表名。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1,//作业并发数。
            "mbps":"12"//限流，此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Reader脚本Demo（multiVersionFixedColumn模式）

以下示例展示了使用multiVersionFixedColumn模式读取HBase数据，并写入MaxCompute的完整脚本配置。在该模式下，HBase中每个Cell的值将被转换为一条独立的记录，每条记录由4列组成：rowKey、family:qualifier、timestamp、value。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"hbase",//插件名。
            "parameter":{
                "mode":"multiVersionFixedColumn",//读取HBase的模式，此处使用multiVersionFixedColumn模式。
                "scanCacheSize":"256",//HBase client每次RPC从服务器端读取的行数。
                "scanBatchSize":"100",//HBase client每次RPC从服务器端读取的列数。
                "hbaseVersion":"20x",//HBase版本。
                "datasource":"hbase_datasource",//HBase数据源名称。
                "column":[//字段。第一个字段必须为rowkey，其余字段的name必须为"列族:列名"格式。
                    {
                        "name":"rowkey",//rowkey字段。
                        "type":"string"
                    },
                    {
                        "name":"basic:age",//列族basic下的列age。
                        "type":"string"
                    },
                    {
                        "name":"basic:name",//列族basic下的列name。
                        "type":"string"
                    },
                    {
                        "name":"score:english",//列族score下的列english。
                        "type":"string"
                    },
                    {
                        "name":"score:math",//列族score下的列math。
                        "type":"string"
                    }
                ],
                "range":{
                    "isBinaryRowkey":false
                },
                "maxVersion":"-1",//读取所有版本数据。multiVersionFixedColumn模式下此参数必填。取值为-1表示读取所有版本。
                "encoding":"UTF-8",//编码格式。
                "table":"student"//HBase表名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",//目标端插件名。此处以MaxCompute为例。
            "parameter":{
                "partition":"",//目标表的分区信息。非分区表无需配置。
                "truncate":true,//写入前是否清空表或分区中的数据，true表示清空。
                "datasource":"odps_datasource",//MaxCompute数据源名称。
                "column":[//目标端固定4列，分别对应rowKey、family:qualifier、timestamp、value。
                    "rowkey",
                    "cf",
                    "timestamp_col",
                    "value"
                ],
                "table":"hbase_multiversion_target"//MaxCompute目标表名。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":false,//不限流。
            "concurrent":2//作业并发数。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Reader脚本参数

HBase Writer脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"hbase",//插件名。
            "parameter":{
                "mode":"normal",//写入HBase的模式。
                "walFlag":"false",//关闭（false）放弃写WAL日志。
                "hbaseVersion":"094x",//Hbase版本。
                "rowkeyColumn":[//要写入的HBase的rowkey列。
                    {
                        "index":"0",//序列号。
                        "type":"string"//数据类型。
                    },
                    {
                        "index":"-1",
                        "type":"string",
                        "value":"_"
                    }
                ],
                "nullMode":"skip",//读取的为null值时，如何处理。
                "column":[//要写入的HBase字段。
                    {
                        "name":"columnFamilyName1:columnName1",//字段名。
                        "index":"0",//索引号。
                        "type":"string"//数据类型。
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "index":"1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "index":"2",
                        "type":"string"
                    }
                ],
                "encoding":"utf-8",//编码格式。
                "table":"",//表名。
                "hbaseConfig":{//连接HBase集群需要的配置信息，JSON格式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs: //ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Writer脚本参数

"rowkeyColumn": [
          {
            "index":0,
            "type":"string"
          },
          {
            "index":-1,
            "type":"string",
            "value":"_"
          }
      ]

HBase20xsql Reader脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        {
            "stepType":"hbase20xsql",//插件名。
            "parameter":{
                "queryServerAddress": "http://127.0.0.1:8765",  //填写连接Phoenix QueryServer地址。
                "serialization": "PROTOBUF",  //QueryServer序列化格式。
                "table": "TEST",    //读取表名。
                "column": ["ID", "NAME"],   //所要读取列名。
                "splitKey": "ID"    //切分列，必须是表主键。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1,//作业并发数。
            "mbps":"12"//限流，此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase20xsql Reader脚本参数

HBase11xsql Writer脚本Demo

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"1"//限流，此处1mbps = 1MB/s。
      }
    },
    "reader": {
      "plugin": "odps",
      "parameter": {
        "datasource": "",
        "table": "",
        "column": [],
        "partition": ""
      }
    },
    "plugin": "hbase11xsql",
    "parameter": {
      "table": "目标hbase表名，大小写有关",
      "hbaseConfig": {
        "hbase.zookeeper.quorum": "目标hbase集群的ZK服务器地址",
        "zookeeper.znode.parent": "目标hbase集群的znode"
      },
      "column": [
        "columnName"
      ],
      "batchSize": 256,
      "nullMode": "skip"
    }
  }
}

HBase11xsql Writer脚本参数