本文通过示例为您介绍如何使用E-MapReduce上的StarRocks集群进行Hudi数据源查询。
使用限制
- 创建的两个集群需要在同一个VPC下,并且在同一个可用区下。
- Merge On Read表不支持Array、Map、Struct数据类型的查询,可以使用DESC语句查看Hudi表结构,不支持的数据类型会显示成
unknown
。
操作步骤
- 创建Hudi Catalog。
CREATE EXTERNAL CATALOG catalog_name PROPERTIES ("key"="value", ...);
涉及参数如下:
catalog_name
:Hudi Catalog的名称,必选参数。
命名要求如下:
- 必须由字母(a~z或A~Z)、数字(0~9)或下划线(_)组成,且只能以字母开头。
- 总长度不能超过64个字符。
PROPERTIES
:Hudi Catalog的属性,必选参数。Hudi使用的元数据服务不同,该参数的配置也不同。不同元数据服务的配置方法如下:
- Hive MetaStore
属性 |
是否必选 |
说明 |
type |
是 |
数据源类型,取值为hudi 。
|
hive.metastore.uris |
是 |
Hive MetaStore的URI。格式为thrift://<Hive metastore的IP地址>:<端口号> ,端口号默认为9083。
|
- DLF元数据
详情请参见使用DLF元数据。
- 查询Hudi表。
select * from hudi_catalog.db_name.table_name;