Hudi数据源

前提条件

• 已创建包含Hudi服务的集群，例如Hadoop或DataLake集群，详情请见创建集群。
• 已创建StarRocks集群，详情请见创建StarRocks集群。

使用限制

• 创建的两个集群需要在同一个VPC下，并且在同一个可用区下。
• Merge On Read表不支持Array、Map、Struct数据类型的查询，可以使用DESC语句查看Hudi表结构，不支持的数据类型会显示成unknown。

操作步骤

1. 创建Hudi Catalog。

   CREATE EXTERNAL CATALOG catalog_name PROPERTIES ("key"="value", ...);

   涉及参数如下：

   • catalog_name：Hudi Catalog的名称，必选参数。
     命名要求如下：

     • 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，且只能以字母开头。
     • 总长度不能超过64个字符。
   • PROPERTIES：Hudi Catalog的属性，必选参数。Hudi使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：
     • Hive MetaStore

       属性	是否必选	说明
       type	是	数据源类型，取值为hudi。
       hive.metastore.uris	是	Hive MetaStore的URI。格式为thrift://<Hive metastore的IP地址>:<端口号>，端口号默认为9083。

     • DLF元数据

       详情请参见使用DLF元数据。

2. 查询Hudi表。

   select * from hudi_catalog.db_name.table_name;