使用Flink访问云原生多模数据库Lindorm宽表分为社区版Flink和阿里云实时计算Flink。这两种方式访问Lindorm宽表的使用方法不一样,本文介绍通过Flink访问Lindorm宽表的注意事项和相关文档。

背景信息

您可以将云原生多模数据库Lindorm宽表作为Flink中的维表或者结果表,通过Flink SQL或者Flink DataStream访问Lindorm宽表。

注意事项

  • 使用Lindorm宽表作为Flink的维表或者结果表时,创建表的DDL语句需要使用连接地址。通过Flink访问Lindorm宽表使用的是Lindorm宽表引擎的HBase Java API访问地址。如果使用新创建的用户,请确保该用户有访问Flink表的读写权限,赋予权限的具体操作请参见为指定用户赋予权限
  • 如果您使用社区版Flink访问Lindorm宽表,仅支持访问HBase like表,也就是说,您通过lindorm-cli创建的SQL表不能作为社区版Flink维表或者结果表,只能通过hbaseue Shell创建HBase like表提供给社区版Flink进行访问。但阿里云实时计算Flink无此限制。
  • 如果您使用社区版Flink访问Lindorm宽表,需要修改Flink connector配置中的Maven依赖。
    • 如果您使用Flink SQL访问Lindorm宽表,请查看并核对Flink connector配置中的HBase依赖版本,具体内容请参见HBase依赖版本
    • 如果您使用Flink DataStream访问Lindorm宽表,请确定依赖的hbase-client版本,修改pom.xml文件并打包,版本对应关系请参见hbase-client同alihbase-connector版本对应关系
      说明
      • 您也可以直接下载pom.xml文件包,下载地址请单击pom文件包
      • 打包命令:mvn clean package -X -e -Dcheckstyle.skip
  • 如果您定制开发了Flink或者hbase-client,请修改Flink connector配置或者hbase-client版本并打包,修改后如果出现其他依赖异常(例如NoSuchMethod或者NoSuchClass等)请提交工单
  • 如果您使用阿里云实时计算Flink并采用Flink SQL方式访问Lindorm宽表,那么可以直接使用Lindorm Connector。

创建维表

  • 如果您使用社区版Flink访问Lindorm宽表,具体操作请参见创建维表
  • 如果您使用阿里云实时计算Flink访问Lindorm宽表,具体操作请参见创建Lindorm维表

创建结果表

  • 如果您使用社区版Flink访问Lindorm宽表,具体操作请参见创建结果表
  • 如果您使用阿里云实时计算Flink访问Lindorm宽表,具体操作请参见创建Lindorm结果表