项目管理

创建Databricks 数据洞察集群后,您可以在数据开发中创建项目,并在项目中进行作业的编辑和工作流的调度。新建项目之后,您可以对项目进行管理,为项目关联集群资源、添加项目成员以及设置全局变量。

前提条件

  1. 已创建集群,详情请参见集群创建

  2. 使用阿里云账号登录使用阿里云账号登录Databricks数据洞察控制台使用阿里云账号登录Databricks数据洞察控制台

注意

只有主账号才能创建项目、添加项目成员和添加集群资源,即新建项目、用户管理和集群设置只对主账号管理员可见。

新建项目

  1. 单击左侧导航栏的项目空间

  2. 单击右上角的新建项目

  3. 在新建项目对话框中,输入项目名称项目描述

  4. 单击创建

注意

  1. 主账号可以查看该账号下的所有项目列表,RAM用户仅可以查看具有开发权限的项目列表。如需为RAM用户添加项目开发权限,则需要主账号来配置,详情请参见用户管理。

项目管理

  1. 单击左侧导航栏的项目空间

  2. 在项目列表页面,单击待查看基本信息的项目的项目ID

  3. 单击上方的项目管理

  4. 在项目列表中可以管理项目基本信息用户管理集群设置变量定义

项目基本信息

可以查看该项目的项目名称创建时间Created User项目描述。并可以修改项目名称和描述。

用户管理

用户管理页面,可以为RAM用户添加或删除某个项目的开发权限:

  1. 添加用户

    1. 单击右上角的添加用户

    2. 勾选主账号下的RAM用户到该项目。

    3. 单击添加

    4. 在用户管理页面,可以查看新增的用户信息。

      说明

      被添加的RAM用户将成为该项目的成员,拥有查看、开发该项目下的作业和工作流的权限。

  2. 删除用户。

    在用户管理页面,单击待删除用户所在行用户信息。

集群设置

集群设置页面,可以为项目设置集群资源,使该项目中的作业运行在关联的集群上:

  • 关联集群资源。

    1. 在集群设置页面,单击集群所在行的修改配置

    2. 从选择集群下拉列表中选择已购买的包年包月或按量付费的集群(不包括通过集群模板创建的集群)。

    3. 单击确定

      在集群设置页面,可查看新增的集群信息。

  • 取消关联集群资源。

    在集群设置页面,单击集群所在行的删除,取消关联的集群资源

  • 修改配置。

    • 在集群设置页面,单击集群所在行的修改配置

    • 在修改配置对话框中,设置提交作业到该集群的队列和用户信息。

      参数

      描述

      提交作业默认用户

      设置项目使用所选集群提交作业时的默认用户,默认值是hadoop,默认用户只能有一个。

      提交作业默认队列

      设置项目使用所选集群提交作业时的默认队列,默认作业提交到default队列。

      提交作业用户白名单

      设置可以提交作业的用户,如果有多个用户,可以通过英文半角逗号(,)分隔。

      提交作业队列白名单

      设置项目中的作业可以运行在所选集群的队列,如果有多个队列,可以通过英文半角逗号(,)分隔。

    • 配置客户端白名单:配置可以提交作业的客户端,您可以使用Master节点或Gateway节点。通过ECS自建的Gateway暂不支持在此处配置。

    • 单击确定。

变量定义

在变量定义页面,您可以设置项目级别的自定义变量,这些变量可以被本项目中的作业项目作为全局变量调用。

  • 添加自定义变量。

    1. 单击右上角的添加

    2. 在添加自定义变量对话框中,设置变量名称变量值

      可以根据需要,选择是否为变量名的变量值加密。作业中以${ VariableName}的形式调用变量。例如,您添加变量名为ENV_ABC,变量值为12345,不勾选是否为密码。Shell类型作业内容示例如下。

      echo ${ENV_ABC}

      返回结果如下。

      12345

      这里环境变量的设置相当于执行了如下的脚本。

      export ENV_ABC=12345
    3. 单击确定

      在变量定义页面,可查看新增的变量信息。

  • 删除自定义变量。

    变量定义页面,单击待删除变量所在行的删除