绑定CDH计算引擎

更新时间: 2023-08-08 16:38:05

您可以在计算引擎信息界面将CDH计算引擎绑定至DataWorks作为DataWorks工作空间的引擎实例,以便您通过DataWorks来执行该引擎类型的计算任务。CDP与CDH基于DataWorks的绑定操作基本一致,本文以CDH引擎绑定为例为您介绍如何绑定CDH引擎。

前提条件

  • 已拥有DataWorks空间管理员权限,详情请参见添加及管理工作空间成员
  • 已存在CDH集群。
  • 已在DataWorks开源集群管理页面上传CDH集群相关配置,并且为当前空间开发角色的RAM用户配置引擎账号映射,以避免任务执行失败。详情请参见在DataWorks中新增CDH集群配置
  • 已购买并创建DataWorks的独享调度资源组。详情可参见独享资源组模式
  • 已将RAM用户(子账号)添加为工作空间成员:如果需要将RAM用户添加为生产环境访问身份,您需要先将其添加至该工作空间成员列表,详情请参见添加及管理工作空间成员

背景信息

(必读)请您在操作引擎绑定前务必了解以下内容,这将决定您后续是否可以顺利开展数据开发工作。

进入引擎绑定页面

  1. 进入管理中心页面。

    登录DataWorks控制台,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 单击左侧导航栏的工作空间,选择计算引擎信息,进入引擎绑定页面。

绑定CDH计算引擎

  1. 计算引擎信息区域,单击CDH
  2. 单击增加实例
    标准模式的工作空间,开发环境和生产环境隔离。如果您使用的是标准模式的工作空间,则需要分别为开发环境和生产环境添加实例。
  3. 新增CDH引擎实例对话框中,配置各项参数。
    新增引擎实例时,可选择使用快捷模式安全模式访问模式,安全模式可以实现不同云账号运行任务时的数据权限隔离。配置界面如下:
    快捷模式
    参数描述
    实例显示名称用于定义当前引擎配置在DataWorks作为一个计算引擎实例的显示名称(即该引擎在DataWorks的别名),您可以自定义该显示名称。名称必须唯一。
    访问模式提供快捷模式安全模式两种进行引擎绑定。
    • 快捷模式:该访问模式下,无论谁通过DataWorks下发CDH任务,集群侧均使用统一一个身份在集群执行任务,无法实现不同云账号运行任务时的数据权限隔离。适用于对任务执行者无数据权限管控隔离要求的工作空间。
    • 安全模式:该访问模式下,允许您配置云账号与CDH集群账号的身份映射关系,通过个人账号与CDH集群权限账号映射的方式,实现不同云账号运行任务时的数据权限隔离。
    选择集群选择需要为当前工作空间绑定的CDH集群,如果为标准模式工作空间,您需要指定当前DataWorks工作空间开发环境和生产环境分别操作哪一个集群。
    说明 标准模式工作空间若要实现开发与生产隔离,您可为开发环境和生产环境配置不同的数据库。
    • 如果访问模式选择快捷模式,则此处需要选择未开启Kerberos认证的CDH集群。请参见:在DataWorks中新增CDH集群配置
    • 如果访问模式选择安全模式,则此处需要选择已开启Kerberos认证的CDH集群。您可以查看CDH集群是否开启Kerberos认证(在工作空间管理页面,单击CDH集群配置,找到需要查看的集群,单击修改,进入后下拉查看映射配置中的认证类型)。如果您当前无CDH集群,请先创建集群。
    访问身份根据选择的访问模式配置相应的访问身份,即DataWorks对应环境执行任务时所使用的账号。
    • 快捷模式:无认证方式,仅支持指定特定账号,建议使用admin或hadoop账号。该账号仅用于下发任务。
    • 安全模式
      • 开发环境(DataStudio):测试时默认使用任务执行者提交任务。仅标准模式工作空间存在开发环境。
      • 生产环境(生产环境运维中心):任务自动调度时可选择统一使用任务责任人阿里云主账号阿里云子账号账号执行任务。
    说明 为实现空间成员权限隔离,若引擎配置为安全模式,您需要在开源集群管理 > CDH集群配置找到该集群,为空间成员映射集群账号。建议为项目空间开发成员也配置身份映射,避免在开发环境运行任务时失败退出,配置详情请参见 配置访问身份的映射关系
    独享调度资源组

    选择已与当前DataWorks工作空间配置网络连通性的独享调度资源组。如果您没有可用的独享调度资源组,则需要新建。新建独享调度资源组并配置网络连通性,详情请参见新增和使用独享调度资源组

    选择后,单击测试连通性进行测试,以验证独享调度资源组和CDH实例的网络连通性。

  4. 测试连通性通过后,单击确定创建计算引擎实例。

后续步骤

为工作空间绑定CDH集群,并且为空间添加成员分配成员角色并映射集群账号后,您便可基于该引擎进行数据开发。详情请参见入门教程:数据开发入门操作指南:数据开发
阿里云首页 大数据开发治理平台 DataWorks 相关技术圈