文档

DataWorks On Hologres使用说明

更新时间:

DataWorks基于实时数仓Hologres轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。

前提条件

使用说明

DataWorks on Hologres的相关开发说明如下。

类别

说明

费用说明

在DataWorks上进行Hologres任务开发,除DataWorks侧产品费用外,还会产出其他产品侧费用。

环境准备

在DataWorks上进行Hologres任务开发前,您需根据业务需求购买相应DataWorks版本及所需资源组,并完成相关Hologres数据源的创建及绑定工作。

权限控制

DataWorks为您提供了产品级与模块级的权限控制,您可根据业务需求对不同用户授权不同权限,实现权限的精细化管理。

开始使用:数据集成

DataWorks数据集成提供Hologres数据读取与写入的能力,并提供离线同步、实时同步、全增量同步任务等多种数据同步场景。

开始使用:数据建模与开发

DataWorks提供数据建模服务,将无序、杂乱、繁琐、庞大且难以管理的数据,进行结构化有序的管理。还提供数据开发(DataStudio)功能,用于调度任务的开发,并与运维中心配合使用,进行调度任务的监控运维。

开始使用:数据分析

DataWorks数据分析提供Hologres数据分析与服务共享能力。

开始使用:数据治理

DataWorks提供Hologres元数据管理与数据治理能力。

开始使用:数据服务

DataWorks提供数据服务能力,帮助您统一管理面向内外部的API服务。

开始使用:开放平台

DataWorks支持开放能力,帮助您快速实现各类应用系统对接DataWorks,并进行数据流程管控、数据治理和运维,及时响应各应用系统对接DataWorks的业务状态变化。

费用说明

DataWorks数据开发与运维中心提供Hologres数据同步、数据加工任务的周期调度,不仅包含DataWorks相关费用,同时会产生产品侧其他费用,具体如下。

一、DataWorks相关费用

以下费用会体现在DataWorks产品相关账单中。DataWorks计费详情请参见DataWorks计费项说明

费用

说明

DataWorks版本费用

进行任务开发前,您需先开通DataWorks。如果开通的是DataWorks标准版、专业版、企业版,则在开通时需支付相应版本的版本费用。

任务调度的调度资源费用

任务开发完成后,进行任务调度时需使用调度资源。您需按需购买调度资源组(例如,包年包月的独享调度资源组、按量付费的公共调度资源组),支付相应的资源组费用。

数据同步的同步资源费用

运行数据同步任务时,除调度资源外,还需使用数据同步资源。您需按需购买数据同步所需的资源组(例如,包年包月的独享数据集成资源组、按量付费的公共数据集成(调试)资源组),支付相应的资源组费用。

说明
  • DataStudio界面使用运行、带参运行功能执行的任务,不会收取调度费用。

  • 没有实际执行成功的任务及空跑的任务不收取调度费用。

您可参考DataWorks调度任务下发逻辑,以辅助了解上述计费说明。

二、非DataWorks相关费用

以下费用不会体现在DataWorks产品相关账单中。任务开发运行过程中可能会产生的其他费用如下。

重要

涉及其他产品的费用,收费情况以对应产品的收费逻辑决定,您可查看对应产品的计费文档了解详情。以Hologres为例,计费详情请参见Hologres计费项说明

费用

说明

数据库费用

数据同步时,读写上下游数据库中的数据,可能会产生数据库费用。

计算和存储费用

运行计算引擎任务时,可能会产生计算引擎的计算和存储费用。例如,运行一个Hologres SQL任务,查询Hologres的数据,可能会产生Hologres的计算和存储费用。

网络服务费用

连通DataWorks和其他相关产品的网络环境时,可能会产生网络服务费用。例如,使用高速通道、共享带宽、EIP等产品连通网络时,会产生相应产品的服务费用。

环境准备

在DataWorks上进行Hologres任务开发前,您需根据业务需求购买相应DataWorks版本及所需资源组,并完成相关Hologres引擎绑定及开发环境的准备工作,具体如下表。

一、资源准备

DataWorks提供具备丰富产品能力的标准版、专业版、企业版,以及租户共享的公共资源组和租户专有的独享资源组,您可结合实际业务开发需要选择。

类别

描述

相关文档

版本选择

DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的标准版、专业版、企业版服务。

DataWorks标准版、专业版、企业版对比及版本升级说明

资源组选择

DataWorks提供租户共享的公共资源组,可满足基本调度要求;也支持使用满足业务量与时效性需求的独享资源组。各资源组根据使用场景,分为调度资源组、数据集成资源组、数据服务资源组,您可根据业务情况合理规划并分配资源。

DataWorks资源组概述

二、开发环境准备

您需先将Hologres实例创建为DataWorks工作空间的数据源并绑定至数据开发(DataStudio),才可进行相关开发工作。同时,支持以工作空间为单位管理空间成员以便进行协同开发。

类别

描述

相关文档

数据同步环境准备

基于DataWorks进行Hologres同步任务前,您需先将Hologres实例创建为工作空间的数据源。创建后,才可使用该数据源执行相关同步任务。

创建Hologres数据源

数据开发、数据分析环境准备

基于DataWorks进行Hologres调度任务前,您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发(DataStudio)。绑定后,才可使用该数据源进行相关数据开发、数据分析、周期性调度运行任务等操作。

协同开发环境准备

为保障RAM用户以工作空间为单位进行协同开发,您需执行如下操作:

  • 需将进行协同开发的RAM用户添加为当前工作空间的成员,并授予其开发角色。

  • 将工作空间成员添加至Hologres引擎实例及DataWorks绑定的Hologres数据源中,并为生产环境执行账号授予较大的数据库权限。

权限控制

DataWorks为您提供了产品级与模块级的权限控制,您可根据业务需求对不同用户授权不同权限。权限控制相关介绍如下。

一、数据访问权限控制

加入至DataWorks工作空间进行Hologres任务开发的RAM用户,至少需要拥有计算引擎实例权限、工作空间绑定的Hologres数据源相关权限,及相关表的权限才可在DataWorks进行数据开发操作。详情请参见Hologres权限管理

二、功能模块权限控制

进行数据开发前,您可为用户授权指引授予工作空间成员不同空间角色,让其拥有不同的操作权限。权限类型如下:

  • 通过RAM Policy权限体系,管理DataWorks功能模块(例如,不允许用户访问数据地图)与DataWorks控制台的权限(例如,允许用户删除工作空间)。

  • 通过RBAC权限模型,管理DataWorks空间级模块(例如,允许用户进入数据开发执行相关开发操作)与全局模块的使用权限(例如,禁止用户访问数据保护伞模块)。

开发流程

开始使用

DataWorks为您提供了多个功能模块,您可在数据开发(DataStudio)中进行调度任务的开发,并在开发完成后进入生产运维中心进行调度任务的监控运维。同时,提供了任务开发与发布的流程管控,助力您规范开发操作,保障开发过程的安全性。

一、数据集成

DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力,您可将其他数据源的数据同步至Hologres数据源,或将Hologres数据源的数据同步至其他数据源。同时,可根据需要选择离线同步、实时同步、全增量同步任务等场景执行相关数据同步操作。详情请参见数据集成

二、数据建模与开发

模块

描述

相关文档

数据建模

数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数同文”的快速理解与流通。

数据建模

数据开发

DataWorks将Hologres计算引擎的能力进行了封装,支持您执行Hologres相关的数据同步、数据开发任务。

  • 数据同步:您可将其他数据源的数据同步至Hologres数据源,或将Hologres数据源的数据同步至其他数据源。数据开发仅支持部分离线同步和实时同步场景,更多数据同步应用,请前往数据集成主站查看。

  • 数据开发:您无需接触复杂的命令行,便可在DataWorks中实现各类任务的开发及周期性调度。

您可结合DataWorks的通用类型节点和引擎计算节点进行复杂的逻辑处理。

主要节点如下:

  • 用于管控业务流程的虚拟节点。

  • 用于外部系统触发调度的HTTP触发器节点、OSS对象检查节点和FTP CHECK节点。

  • 用于节点上下游参数传递的赋值节点与参数节点。

  • 用于循环执行代码的do-while节点,遍历、判断上游赋值结果的for-each节点,分支节点等。

  • 其他节点。例如,通用Shell节点,MySQL数据库节点等。

节点任务开发完成后,可根据需要执行如下操作:

  • 调度配置

    若节点任务需进行周期性调度运行,可定义该节点的调度相关属性。例如,节点调度依赖、调度参数等。

  • 节点调试

    为保障生产任务高效运行,避免计算资源浪费,建议您在任务发布前先对任务进行调试运行。

  • 节点发布

    任务需发布至生产环境后,才会周期调度运行。因此,任务开发完成后需发布至生产环境。发布后,您可前往运维中心 > 周期任务界面查看并管理该调度任务。

  • 节点管理

    您可对节点任务进行上线及下线、批量修改调度相关属性等操作。

  • 流程管控

    DataWorks提供了任务开发与发布的流程管控(例如,代码审批、强制冒烟测试、自定义校验逻辑等),把控任务相关操作的正确性及安全性。

运维中心

运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务产出时间不可控、海量任务监控难等问题,保障任务产出的时效性。

周期任务基本运维操作

数据质量

数据质量针对数据研发的全链路,保障数据可用性。通过对数据质量规则的高效校验,以及与任务调度流程的紧密结合,可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散,为业务提供高效、可靠、可信赖的数据。

数据质量概述

三、数据分析

帮助您实现在线SQL分析、业务洞察、编辑和分享数据;并支持将查询结果保存为图表卡片,快速搭建可视化数据报告便于日常汇报。详情请参见数据分析概述

四、数据治理

Hologres数据源绑定完成后,DataWorks将自动采集您数据源下的元数据,您可前往数据地图进行查看;同时,也可进入数据治理中心,查看DataWorks检测的待治理问题,进行相关数据的治理。

模块

说明

相关文档

数据地图

DataWorks数据地图提供了企业级数据管理平台,能够基于统一元数据的底层建设,提供数据对象的管理和盘点的能力,以及数据对象的快速查找和深度理解的能力。

数据地图概述

安全中心

数据保护伞

审批中心

安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。

数据治理中心

数据治理中心针对多个治理领域,通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。

数据治理中心概述

五、数据服务

DataWorks数据服务旨在为企业提供全面的数据服务及共享能力,帮助企业统一管理面向内外部的API服务。详情请参见数据服务概述

六、开放平台

DataWorks支持开放能力,帮助您快速实现各类应用系统对接DataWorks、方便快捷的进行数据流程管控、数据治理和运维,及时响应应用系统对接DataWorks的业务状态变化。

类别

描述

相关文档

OpenAPI

DataWorks开放平台的OpenAPI功能,为您提供开放API能力,通过开放API实现本地服务和DataWorks服务的交互,提升企业大数据处理效率,减少人工操作和运维工作,降低数据风险和企业成本。

开放API(OpenAPI)

开放事件

DataWorks开放平台的开放事件(OpenEvent)功能,为您提供消息订阅服务,通过订阅DataWorks事件状态、应用系统对接DataWorks、实时获取相关内容的状态变化,帮助您及时响应相应事件,满足个性化决策需求。

OpenEvent概述

扩展程序

DataWorks通过OpenEvent为您提供消息推送订阅功能,您可将服务程序注册为DataWorks的扩展程序,通过扩展程序来卡点并响应订阅的事件消息,实现通过扩展程序对特定事件进行消息通知与流程管控。

扩展程序概述

附录:DataWorks与Hologres的关系

说明

简单模式工作空间仅一个生产环境,并且仅对应Hologres一个项目,本文以标准模式工作空间进行说明。

DataWorks为Hologres提供离线任务调度、元数据管理、数据治理、数据安全管控等能力,但任务计算、数据存储仍在Hologres中。标准模式工作空间下,DataWorks为不同环境绑定不同的Hologres实例,实现DataWorks开发环境与生产环境存储、资源等隔离。

holo引擎绑定

  • 本页导读 (1)
文档反馈