绑定Hologres计算引擎

更新时间: 2023-08-08 16:37:19

您可在计算引擎信息界面,将Hologres计算引擎绑定至DataWorks作为DataWorks工作空间的引擎实例,以便通过DataWorks来执行该引擎类型的计算任务。本文为您介绍如何绑定Hologres引擎。

前提条件

类别操作说明相关文档
引擎相关已购买Hologres实例并创建数据库。
资源组相关已购买独享调度资源组。用于执行引擎绑定后的环境初始化操作。新增和使用独享调度资源组

背景信息

(必读)为保障顺利开展数据开发工作,绑定引擎前,请务必了解以下内容:

使用限制

  • 仅拥有AliyunDataWorksFullAccessAliyunHologresFullAccess权限的用户,可为DataWorks工作空间绑定Hologres引擎。授权详情请参见为RAM角色授权
  • 仅支持使用独享调度资源组运行引擎任务。详情请参见新增和使用独享调度资源组

权限控制

阿里云账号(主账号)默认具备引擎绑定相关操作的权限。如果您需使用RAM用户绑定引擎,则需授权相应用户如下权限。
  • 绑定引擎

    引擎绑定需具备AliyunDataWorksFullAccessAliyunHologresFullAccess获取Vswitch、安全组列表权限。详情请参见引擎绑定权限须知

  • 环境初始化

    环境初始化用于连通Hologres与DataWorks所在网络,拥有资源组相关权限,并完成绑定操作。该过程需具备AliyunHologresFullAccess自定义资源组权限策略,才可检查并打通网络环境。详情请参见初始化网络环境

引擎绑定入口

您可通过如下方式绑定引擎:

  • 方式一:创建完工作空间后直接绑定。

    工作空间创建完成后,DataWorks为您提供了常用引擎的绑定入口,可直接进行引擎绑定操作。同时,也可进入管理中心,绑定更多类型的引擎。绑定引擎

  • 方式二:通过工作空间列表绑定。

    该方式需通过工作空间列表先找到目标工作空间,再进行引擎绑定。工作空间列表绑定

  • 方式三:通过工作空间管理页面绑定引擎。

    该方式需先进入工作空间管理页面,选择目标工作空间,并单击进入绑定计算资源页面,再绑定相应引擎。工作空间管理绑定引擎

绑定Hologres计算引擎

  1. 计算引擎信息区域选择Hologres,单击+绑定HologresDB
  2. 配置引擎信息。
    根据下图指引配置引擎信息。Hologres参数说明如下。
    参数描述相关文档
    实例显示名称定义当前计算引擎在DataWorks中作为引擎实例的显示名称,该名称必须唯一。
    环境说明
    • 标准模式的工作空间:区分开发环境生产环境,您需分别配置相应环境的信息。不同环境的配置可以不同。
      • 开发环境:通常用于测试任务执行。例如,数据开发(DataStudio)模块。
      • 生产环境:通常用于任务自动调度。例如,生产运维中心。
    • 简单模式的工作空间:不区分环境,环境的配置信息同生产环境
    必读:简单模式和标准模式的区别
    访问身份
    • 生产环境
      DataWorks任务提交调度后,作为在Hologres引擎内执行代码的身份(账号)。阿里云主账号默认具备该身份,您也可选择为指定阿里云子账号(即RAM用户)赋予该身份。选择使用哪类账号执行任务,将影响后续的数据安全与权限控制。
      说明 生产环境的访问身份,需拥有该环境下项目或引擎的最大权限,若将RAM用户设置为执行代码的账号,需授权该RAM用户Hologres实例的相关操作权限。
    • 开发环境

      用于在DataWorks任务开发界面运行任务、执行开发环境冒烟测试时的身份(账号)。默认为任务执行者

    授权RAM用户相关权限
    引擎信息为当前DataWorks工作空间绑定的Hologres引擎实例和数据库信息。选择实例后将自动展示该实例的服务器和端口信息。
    • 标准模式工作空间下,为实现开发生产隔离,建议为这两个环境分别绑定不同的计算引擎实例及数据库。
    • Hologres实例创建后,自动生成一个名为postgres的数据库,仅用于管理。实际业务使用请创建新的数据库。
    创建数据库
  3. 初始化网络环境。
    引擎绑定完成后,您需对当前引擎所使用的网络环境(即所使用的独享调度资源组)进行初始化操作。确保Hologres实例与DataWorks独享调度资源组的网络环境处于连通状态,否则将无法运行任务。
    说明 部分Hologres实例类型无需执行初始化操作。若界面提示无需初始化,则您可直接使用该引擎进行数据开发操作。详情请参见入门教程:数据开发入门操作指南:数据开发
    1. 授予初始化操作权限。
      若您不具备相关权限,则无法检查网络环境,系统将提示相关授权说明。因此,检查网络环境前,请授权用户下文权限集。如已授权,请跳过该步骤。
      • 权限集一:AliyunHologresFullAccess

        用于获取Hologres实例详细信息与所在网络的详细信息。授权详情请参见授予AliyunHologresFullAccess权限策略

      • 权限集二:创建如下自定义权限策略。
        用于连通Hologres与DataWorks所在网络,拥有资源组相关权限,并完成绑定操作。授权详情请参见创建自定义权限策略。权限策略内容如下。
        {
          "Version": "1",
          "Statement": [
            {
              "Effect": "Allow",
              "Action": "dataworks:*ResourceGroup",
              "Resource": "acs:dataworks:*:*:exclusive_resource_group/*"
            },
            {
              "Effect": "Allow",
              "Action": "dataworks:Get*",
              "Resource": "acs:dataworks:*:*:*"
            },
            {
              "Effect": "Allow",
              "Action": "ecs:DescribeSecurityGroups",
              "Resource": "acs:ecs:*:*:securitygroup/*"
            },
            {
              "Effect": "Allow",
              "Action": "vpc:DescribeVpcs",
              "Resource": "acs:vpc:*:*:vpc/*"
            },
            {
              "Effect": "Allow",
              "Action": "vpc:DescribeVSwitches",
              "Resource": "acs:vpc:*:*:vswitch/*"
            }
          ]
        }
    2. 检查并初始化网络环境。
      您需按下图步骤,选择执行引擎任务所使用的独享调度资源组并完成初始化。若无所需资源组,请参考新增和使用独享调度资源组创建。检查并初始化网络环境

管理Hologres计算引擎

您可进入管理中心界面,查看引擎信息,或根据业务需要修改引擎信息或删除不再使用的引擎。管理引擎
  • 修改引擎:修改引擎信息后,您需重新执行初始化操作。操作详情请参见初始化网络环境
  • 删除引擎
    单击右上角的删除按钮,将工作空间与该引擎实例进行解绑,解绑后,当前工作空间基于该引擎运行的任务都将失败。
    说明 空间管理员可执行解绑操作。授权详情请参见添加空间成员并授权
    解绑后DataWorks各模块将产生如下影响:
    • 调度任务:基于该引擎运行的任务(实例)即将失败,建议您通过DataStudio中的任务列表单击转移到可用的引擎实例,将解绑引擎上的任务批量迁移至其他可用引擎,并执行提交、发布,以恢复任务运行。
    • 数据集成:涉及该引擎的同步任务将运行失败,建议您及时到DataStudio更换相关任务的数据源。
    • 数据服务:涉及该引擎的数据服务API将调用失败,建议您及时更换数据服务相关数据源。
    • 数据分析:涉及该引擎的查询将不可用,建议您及时更换相关数据源。
    • 数据地图、资源优化、综合治理、安全中心将不再展示该引擎的相关信息。

后续步骤

绑定Hologres引擎后,您可基于该引擎进行数据开发。详情请参见入门教程:数据开发入门操作指南:数据开发
阿里云首页 大数据开发治理平台 DataWorks 相关技术圈