使用DLF Catalog

更新时间:
复制为 MD 格式

EMR Serverless Spark中,您可以通过数据目录功能来查看绑定的数据目录中的数据库和表,还可以添加已有的数据目录。

使用限制

仅支持使用esr-4.3.0、esr-3.3.0、esr-2.7.0及以上版本。

通过Serverless Spark数据目录添加DLF

Serverless Spark中通过数据目录绑定DLF Catalog后,提交的Serverless Spark任务默认可以访问已绑定的DLF Catalog。

说明

Serverless Spark 工作空间的绑定DLF Catalog后,Livy Gateway 和 Kyuubi Gateway 原生支持其默认数据目录。

在新建Serverless Spark工作空间时添加DLF

创建Serverless Spark工作空间,详情请参见创建工作空间

image

在已有Serverless Spark工作空间中添加

  1. 进入数据目录页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. EMR Serverless Spark页面,单击左侧导航栏中的数据目录

      说明

      数据目录页面为您展示了创建集群时您选择的DLF数据目录下的数据库和表。

  2. 单击添加数据目录

  3. 添加数据目录对话框中,配置以下信息,单击添加

    • DLF 数据目录:是一种元数据管理服务,用于管理和查询存储在数据湖中的元数据。通过选择已有的DLF数据目录或创建新的数据目录,您可以快速接入数据湖中的元数据。

如果您想创建新的DLF数据目录,可以单击创建数据目录,跳转至数据湖构建控制台创建,详情请参见元数据管理

相关文档

管理数据目录