Azure Databricks

更新时间:
复制为 MD 格式

服务账号授权

-- 1. 创建自定义角色
CREATE ROLE <role>;

-- 2. 授予元数据读取权限
GRANT BROWSE ON CATALOG <catalog_name> TO ROLE <role>;
GRANT USE CATALOG ON CATALOG <catalog_name> TO ROLE <role>;
GRANT USE SCHEMA ON CATALOG <catalog_name> TO ROLE <role>;
GRANT SELECT ON CATALOG <catalog_name> TO ROLE <role>;

-- 3. 将角色分配给服务主体或用户
GRANT ROLE <role> TO <service_principal_application_id>;

数据源管理

1. 基础配置

选项

说明

--meta-type

元数据类型:UNITY_CATALOG(必填)

--host

Databricks 主机地址(必填)

--http-path

SQL Warehouse HTTP 路径(必填)

Databricks 基础配置获取步骤:

  1. 在 Databricks 工作区对应的 Overview 页面,单击 Launch Workspace 进入 Databricks 工作区。

  2. 在左侧导航栏选择 SQL Warehouses

  3. 如尚未创建 SQL Warehouse,单击 Create SQL warehouse 按向导创建一个可用的 Warehouse。

  4. 在列表中单击进入目标 Warehouse,切换到 Connection details 页签。

  5. 在该页签中复制:

    • Server hostname → 对应数据源配置中的 host

    • HTTP path → 对应数据源配置中的 http-path

image.png

2. PAT 认证

选项

说明

--login-type

认证类型:pat(必填)

--token

Personal Access Token(必填)

PAT Token 获取步骤:

  1. 进入 Databricks 工作区,右上角点击用户头像,进入 Settings 页面。

  2. 在左侧 Settings 导航栏中选择 Developer,进入 Developer 页面。

  3. Access tokens 区域,点击右侧的 Manage 按钮,进入 Access tokens 管理页面。

  4. 点击 Generate new token 按钮,设置 Lifetime (days) 等信息后生成 PAT Token,并妥善保存生成的 Token 值。

image.png

lhm datasource set Databricks -n Databricks1 \
    --meta-type UNITY_CATALOG \
    --host https://adb-xxx.azuredatabricks.net \
    --http-path /sql/1.0/warehouses/xxx \
    --login-type pat \
    --token '$DATABRICKS_TOKEN'