使用Databricks作为元仓引擎进行元仓初始化

Dataphin元数据仓库(简称:元仓),是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库,存在于Dataphin元仓租户中(OPS租户)的一个Dataphin项目空间中,由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓初始化即配置Dataphin系统的计算引擎类型并初始化元数据的过程。本文将为您介绍如何使用Databricks作为元仓计算引擎进行元仓初始化。

使用限制

系统仅支持元仓租户超级管理员系统管理员角色的账号初始化系统。

重要

请妥善保管元仓租户超级管理员系统管理员的账号和密码。同时,元仓租户超级管理员账号登录系统后,请谨慎操作。

操作步骤

  1. Dataphin首页的顶部菜单栏中,选择管理中心 > 系统设置

  2. 在左侧导航栏中选择系统运维 > 元仓设置

  3. 元仓设置配置向导页面,单击开始

  4. 在选择初始化引擎类型步骤中,选择Databricks引擎类型。

    重要

    若元仓已经初始化,则默认选择上次初始化成功的元仓。当切换成不兼容的计算引擎时,会导致治理功能不可用。

  5. 单击下一步

  6. 参数配置页面,配置Databricks计算引擎参数。

    参数

    描述

    认证方式

    可选择Service Principal(M2M)Personal Access Token(PAT)

    • Service Principal(M2M):基于Service Principal的认证,需要提供Service PrincipalSecret。

    • Personal Access Token(PAT):基于个人Token的认证,需要提供个人账号的Token。

    Server hostname

    输入workspace URL,格式为<workspace-host-name>.cloud.databricks.com

    Service Principal

    输入Service Principal,即Client ID。

    说明

    仅认证方式选择为Service Principal(M2M)时,支持配置此项。

    Secret

    输入Client Secret。

    说明

    仅认证方式选择为Service Principal(M2M)时,支持配置此项。

    token

    输入个人账号访问服务端的Token。

    说明

    仅认证方式选择为Personal Access Token(PAT)时,支持配置此项。

    HTTP path

    选择HTTP path,列表中将根据所输入的认证信息列出可选项。

    Catalog

    选择Catalog,列表中将根据所输入的认证信息列出可选项。

    Schema

    选择DatabricksSchema,列表中将根据所输入的认证信息列出可选项。

    Meta Project

    用于元数据生产,加工的逻辑项目空间。推荐配置为dataphin_meta,重新初始化时请保持名称不变,否则初始化失败。

  7. 单击测试连接。连接测试通过后,单击下一步

  8. 在初始化页面,单击开始

    说明

    初始化系统约15分钟左右,请您耐心等待。

  9. 页面提示执行成功后,单击完成,即可完成配置。

后续步骤

完成系统的元数据初始化后,即可设置Dataphin实例的计算引擎。设置方法请参见计算设置