Delta Lake数据源

更新时间:2024-02-05 05:54:57

Delta Lake Catalog是一种External Catalog。通过Delta Lake Catalog,您可以直接查询Delta Lake中的数据。本文为您介绍如何在E-MapReduceStarRocks集群上创建和查看Delta Lake Catalog。

前提条件

  • 已创建包含Delta Lake服务的集群,例如DataLakeCustom集群,详情请见创建集群

  • 已创建包含StarRocks服务的集群,例如OLAPCustom集群,并成功连接到集群,详情请参见创建集群快速入门

创建Delta Lake Catalog

语法

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

参数说明

  • catalog_name:Delta Lake Catalog的名称,必选参数。命名要求如下:

    • 必须由字母(a~zA~Z)、数字(0~9)或下划线(_)组成,且只能以字母开头。

    • 总长度不能超过64个字符。

  • PROPERTIES:Delta Lake Catalog的属性,必选参数。Delta Lake使用的元数据服务不同,该参数的配置也不同。不同元数据服务的配置方法如下:

    • Hive MetaStore

      属性

      是否必选

      说明

      属性

      是否必选

      说明

      type

      数据源类型,取值为deltalake

      hive.metastore.uris

      Hive MetaStoreURI。格式为thrift://<Hive metastoreIP地址>:<端口号>,端口号默认为9083。

    • DLF

      使用DLF查看数据源,详情请参见使用DLF元数据

示例

以下示例创建了一个名为delta_catalogDelta Lake Catalog。

CREATE EXTERNAL CATALOG delta_catalog
PROPERTIES
(
    "type" = "deltalake",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

查看Delta Lake表数据

您可以通过SELECT查询目标数据库中的目标表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

相关文档

Delta Lake更多介绍,请参见Delta Lake概述

  • 本页导读 (1)
  • 前提条件
  • 创建Delta Lake Catalog
  • 语法​
  • 参数说明
  • 示例
  • 查看Delta Lake表数据
  • 相关文档
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等