在使用流引擎处理计算任务时,Lindorm支持将宽表作为维表或结果表使用。本文介绍使用Flink SQL提交计算任务时的宽表连接器配置。

背景信息

在流引擎中通过Flink SQL提交计算任务时,需要使用CREATE TABLE语句并配置连接器(Connector)参数。

在流引擎中使用宽表

CREATE TABLE lindorm_table(
  c1 VARCHAR,
  c2 DOUBLE,
  c3 BIGINT,
  PRIMARY KEY (c1, c2) NOT ENFORCED --主键必须与在宽表引擎中创建的结果表的主键一致
)WITH(
      'connector'='lindorm',
      'seedServer'='ld-bp17pwu1541ia****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
      'userName'='yourUser',
      'password'='yourPassword',
      'tableName'='yourTablename',
      'namespace'='yourNamespace'
    );--WITH中为连接器相关参数
说明 CREATE TABLE的详细介绍,请参见CREATE TABLE语法说明

连接器参数说明

参数默认值是否必填说明
seedServer宽表引擎的HBase Java API连接地址。如何获取,请参见查看宽表引擎连接地址
namespace宽表所在的命名空间。
userName用户名。
password密码。
tableName宽表名。
bufferSize5000攒批写入数据的行数。
flushIntervalMs2000写入数据时系统执行flush操作的时间间隔。单位为毫秒(ms)。

如果写入的数据量很少,则系统会按该时间间隔执行flush操作。

说明 不同业务下写入数据量多少的标准不同。
columnFamilyf列簇名。
说明

在流引擎中使用宽表时,是否配置columnFamily取决于该表的创建方式:

  • 通过HBase Java API创建:需要配置。
  • 通过Lindorm SQL创建:无需配置。