创建及管理Databricks集群

权限说明

  • 超级管理员系统管理员和拥有Databricks集群-管理权限的自定义全局角色,均可创建和管理Databricks集群。同时,这些用户可设置在创建Databricks计算源时可引用该集群的用户,以及为该集群指定集群管理员。

  • 支持集群管理员对自己负责的集群进行管理。

  • 拥有计算源管理-新建全局角色的用户,可以在创建Databricks计算源时,选择引用自己有使用权限的Databricks集群。

创建Databricks集群

  1. Dataphin首页的顶部菜单栏中,选择规划 > 计算源

  2. 计算源页面,单击管理Databricks集群

  3. 管理Databricks集群对话框中,单击+新建Databricks集群

  4. 新建Databricks集群页面,配置以下参数。

    • 基本信息

      参数

      描述

      集群名称

      输入当前集群的名称,仅支持中文、英文、数字、下划线(_)和短划线(-),长度不超过128个字符。

      集群管理员

      选择一个或多个当前租户下的成员,成为当前集群的集群管理员。集群管理员可管理当前集群,支持编辑、查看历史版本和删除操作。

      描述(非必填)

      输入当前集群的简单描述,长度不超过128个字符。

    • 集群安全管控

      可使用成员:新建计算源时哪些用户可以引用当前集群的配置信息,可选择拥有“新建计算源”权限的角色指定用户

      • 拥有“新建计算源”权限的角色:默认选中。

      • 指定用户:支持选择一个或多个个人账号和用户组。

    • 集群配置

      参数

      描述

      时区

      将根据当前时区对集成任务中的时间格式数据进行处理,默认时区为GMT+00:00。单击修改,可选择目标时区,可选项如下:

      • GMTGMT-12:00GMT-11:00GMT-10:00GMT-09:30GMT-09:00GMT-08:00GMT-07:00GMT-06:00GMT-05:00GMT-04:00GMT-03:00GMT-03:00GMT-02:30GMT-02:00GMT-01:00GMT+00:00GMT+01:00GMT+02:00GMT+03:00GMT+03:30GMT+04:00GMT+04:30GMT+05:00GMT+05:30GMT+05:45GMT+06:00GMT+06:30GMT+07:00GMT+08:00GMT+08:45GMT+09:00GMT+09:30GMT+10:00GMT+10:30GMT+11:00GMT+12:00GMT+12:45GMT+13:00GMT+14:00

      • 夏令时Africa/CairoAmerica/ChicagoAmerica/DenverAmerica/Los_AngelesAmerica/New_YorkAmerica/Sao_PauloAsia/BangkokAsia/DubaiAsia/KolkataAsia/ShanghaiAsia/TokyoAtlantic/AzoresAustralia/SydneyEurope/BerlinEurope/LondonEurope/MoscowEurope/ParisPacific/AucklandPacific/Honolulu

      认证方式

      可选择Service Principal(M2M)Personal Access Token(PAT)

      • Service Principal(M2M):基于Service Principal的认证,需要提供Service PrincipalSecret。

      • Personal Access Token(PAT):基于个人Token的认证,需要提供个人账号的Token。

      Server hostname

      输入workspace URL,格式为<workspace-host-name>.cloud.databricks.com

      Service Principal

      输入Service Principal,即Client ID。

      说明

      仅认证方式选择为Service Principal(M2M)时,支持配置此项。

      Secret

      输入Client Secret。

      说明

      仅认证方式选择为Service Principal(M2M)时,支持配置此项。

      token

      输入个人账号访问服务端的Token。

      说明

      仅认证方式选择为Personal Access Token(PAT)时,支持配置此项。

      HTTP path

      选择HTTP path,列表中将根据所输入的认证信息列出可选项。

      单击+添加HTTP path,新增一个HTTP path,最多可添加50HTTP path。

  5. 单击提交,完成Databricks集群的创建。

管理Databricks集群

  1. Dataphin首页的顶部菜单栏中,选择规划 > 计算源

  2. 计算源页面,单击管理Databricks集群

  3. 管理Databricks集群对话框中,查看Databricks集群列表,列表中展示集群名称、集群管理员、关联计算源、创建信息和修改信息等。

    • 关联计算源:展示关联计算源的总数,单击image图标查看关联计算源的列表,单击计算源名称将跳转至计算源页面。

    • 创建信息:记录创建用户和创建时间。

    • 修改信息:记录最近一次编辑当前集群的用户名和修改时间。

    说明

    计算任务只能在一个集群中运行,不同Databricks集群之间的数据无法进行联接操作。

  4. (可选)可在搜索框中输入集群名称,进行模糊搜索。

  5. Databricks集群列表操作列中,对目标集群进行相关管理操作。支持的操作如下。

    操作项

    说明

    查看

    单击目标集群操作列的image图标,查看集群当前版本的详细信息。拥有Databricks集群-管理权限的用户,可下载集群配置文件。

    编辑

    单击目标集群操作列的image图标,打开编辑Databricks集群页面。您可在编辑Databricks集群页面中修改已有的配置。修改完成后,单击保存,在弹出的对话框中填写变更说明并单击确定

    克隆

    单击目标集群操作列的image图标,系统将自动克隆当前集群的所有数据并打开新建Databricks集群页面,您可在已有配置基础上进行修改。

    历史版本

    单击目标集群操作列的image图标,选择历史版本,对话框中展示当前集群各版本信息,包含版本名称、修改人、变更说明等信息。您可在历史版本进行查看对比操作。

    • 查看:单击目标版本操作列中的image图标,跳转至查看Databricks集群页面,查看集群当前版本的详细信息。拥有Databricks集群-管理权限的用户,可下载集群配置文件。

    • 对比:单击目标版本操作列中的image图标,跳转至版本对比页面。可在对比页面中筛选的下拉列表中选择不同版本,默认将当前版本的Databricks集群和目标版本进行对比。

    删除

    说明
    • 仅在当前Databricks集群下没有关联的计算源时,支持删除当前集群。

    • 集群删除后无法恢复

    单击目标集群操作列的image图标,选择删除,在弹出的对话框中,单击确定