DataWorks基于实时数仓Hologres轻松构建实时数仓与即席分析系统；Hologres通过DataWorks采用可视化方式，进行任务工作流的配置、周期性调度执行及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用Hologres的基本开发流程。

前提条件

背景信息

DataWorks on Hologres的基本开发流程如下图。数据开发流程

DataWorks on Hologres开发说明

DataWorks on Hologres的相关开发说明如下。
序号说明相关文档
1DataWorks上进行Hologres任务开发，除DataWorks侧产品费用外，还会产出其他产品侧费用。费用说明
2DataWorks上进行MaxCompute任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关MaxCompute引擎绑定及开发环境的准备工作。环境准备
3DataWorks为您提供了产品级与模块级的权限控制，您可根据业务需求对不同用户授权不同权限，实现权限的精细化管理。权限控制
4DataWorks数据开发与运维中心提供Hologres数据加工任务的周期调度。调度任务开发与运维
5DataWorks提供MaxCompute元数据管理与数据治理能力。数据治理
6DataWorks支持开放能力，帮助您快速实现各类应用系统对接DataWorks，并进行数据流程管控、数据治理和运维，及时响应各应用系统对接DataWorks的业务状态变化。开放能力

费用说明

DataWorks数据开发与运维中心提供Hologres数据同步、数据加工任务的周期调度，不仅包含DataWorks相关费用，同时会产生产品侧其他费用，具体如下。

DataWorks相关费用

以下费用会体现在DataWorks产品相关账单中。DataWorks计费详情请参见DataWorks计费项说明。

  • DataWorks版本费用：

    进行任务开发前，您需先开通DataWorks。如果开通的是增值版本的DataWorks（例如，企业版），则在开通时需支付相应增值版本的版本费用。

  • 任务调度的调度资源费用：

    任务开发完成后，进行任务调度时需使用调度资源。您需按需购买调度资源组（例如，包年包月的独享调度资源组、按量付费的公共调度资源组），支付相应的资源组费用。

  • 数据同步的同步资源费用：

    运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买数据同步所需的资源组（例如，包年包月的独享数据集成资源组、按量付费的公共数据集成（调试）资源组），支付相应的资源组费用。

非DataWorks相关费用

以下费用不会体现在DataWorks产品相关账单中。

重要 涉及其他产品的费用，收费情况以对应产品的收费逻辑决定，您可查看对应产品的计费文档了解详情。以Hologres为例，计费详情请参见Hologres计费项说明。
  • 数据库费用

    数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。

  • 计算和存储费用

    运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个Hologres SQL任务，查询Hologres的数据，可能会产生Hologres的计算和存储费用。

  • 网络服务费用

    连通DataWorks和其他相关产品的网络环境时，可能会产生网络服务费用。例如，使用高速通道、共享带宽、EIP等产品连通网络时，会产生相应产品的服务费用。

环境准备

在DataWorks上进行Hologres任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关Hologres引擎绑定及开发环境的准备工作，具体如下表。

资源准备

DataWorks提供具备丰富产品能力的增值版本，以及租户共享的公共调度资源组以满足基本调度要求。同时，也支持基于业务量与时效性，结合实际业务开发需要选择租户独享的调度资源组。

类别描述相关文档
版本选择DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的增值版本服务。DataWorks增值版本对比及版本升级说明
资源组选择
DataWorks提供租户共享的公共调度资源组（按量计费），以满足基本调度要求，并且支持基于业务量与时效性，结合实际业务开发需要选择租户独享的调度资源组（包年包月）。
  • 根据业务量与时效性选择：
    • 如果您的业务量较小，并仅需满足基本调度要求，可购买按量付费的公共调度资源组。
    • 如果您的业务量较大，为保障业务正常运行，可购买包年包月的独享调度资源组。
  • 根据业务场景选择：

    如果开发时需访问其他网络环境，但公共调度资源组无法保障网络连通性，可购买独享调度资源组。

开发环境准备

您需先在DataWorks工作空间绑定Hologres引擎，绑定后才可在数据开发（DataStudio）进行数据开发工作，并以工作空间为单位管理空间成员以便进行协同开发。

类别描述相关文档
引擎绑定环境准备基于DataWorks进行计算引擎任务周期性调度前，您需将Hologres计算引擎项目绑定至DataWorks，作为DataWorks的底层计算引擎。

创建DataWorks工作空间后，您需为工作空间绑定Hologres引擎，绑定后才可创建该类引擎节点进行数据开发。

绑定Hologres计算引擎
协同开发环境准备为保障RAM用户以工作空间为单位进行协同开发，您需执行如下操作：
  • 需将进行协同开发的RAM用户添加为当前工作空间的成员，并授予其开发角色。
  • 将工作空间成员添加至Hologres引擎实例及DataWorks引擎绑定的数据库中，并为生产环境执行账号授予较大的数据库权限。

权限控制

DataWorks为您提供了产品级与模块级的权限控制，您可根据业务需求对不同用户授权不同权限。权限控制相关介绍如下。

数据访问权限控制

加入至DataWorks工作空间进行Hologres任务开发的RAM用户，至少需要拥有计算引擎实例权限、工作空间绑定的Hologres数据库相关权限，及相关表的权限才可在DataWorks进行数据开发操作。详情请参见Hologres权限管理。

功能模块权限控制

进行数据开发前，您可为用户授权指引授予工作空间成员不同空间角色，让其拥有不同的操作权限。权限类型如下：
  • 通过RAM Policy权限体系，管理DataWorks功能模块（例如，不允许用户访问数据地图）与DataWorks控制台的权限（例如，允许用户删除工作空间）。
  • 通过RBAC权限模型，管理DataWorks空间级模块（例如，允许用户进入数据开发执行相关开发操作）与全局模块的使用权限（例如，禁止用户访问数据保护伞模块）。
开发流程

调度任务开发与运维

DataWorks为您提供了多个功能模块，您可在数据开发（DataStudio）中进行调度任务的开发，并在开发完成后进入生产运维中心进行调度任务的监控运维。同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全性。

任务开发

任务开发包含的主要操作如下。
操作描述相关文档
节点开发DataWorks将Hologres计算引擎的能力进行封装，您可基于Hologres引擎节点进行数据开发。无需接触复杂的命令行，便可在DataWorks中实现各类任务的周期性调度。
说明 DataWorks通过业务流程管理节点，您需要在新建节点前，先新建业务流程。
您可结合DataWorks的通用类型节点和引擎计算节点进行复杂的逻辑处理。
主要节点如下：
  • 用于管控业务流程的虚拟节点。
  • 用于外部系统触发调度的HTTP触发器节点、OSS对象检查节点和FTP CHECK节点。
  • 用于节点上下游参数传递的赋值节点与参数节点。
  • 用于循环执行代码的do-while节点，遍历、判断上游赋值结果的for-each节点，分支节点等。
  • 其他节点。例如，通用Shell节点，MySQL数据库节点等。
节点调度配置若节点任务需进行周期性调度运行，可定义该节点的调度相关属性，包括节点调度依赖、调度参数等。配置基础属性
节点调试为保障生产任务高效运行，避免计算资源浪费，建议您在任务发布前先对任务进行测试运行，执行冒烟测试与代码评审。
节点发布任务需发布至生产调度后，才会周期调度运行。因此，您需在任务开发完成后，将任务发布至生产环境。

发布后，您可前往运维中心 > 周期任务界面查看并管理该调度任务。

（可选）管理节点任务您可对节点任务进行上线及下线、批量修改调度相关属性等操作。批量操作

任务运维

任务调度运维包含的主要操作如下。
操作描述相关文档
任务调度发布至生产环境的任务，将根据您定义的调度时间自动调度运行。

您可在运维中心 > 周期实例页面，查看任务周期调度的执行结果。同时，也可在生产环境针对任务进行测试与补数据操作，根据业务需要上下线任务、冻结任务，使当前节点及其下游节点暂停调度。

数据质量监控监控调度任务产出的表数据质量，可通过配置表的质量监控规则实现表数据监控。数据质量概述
智能监控提供调度任务执行状态与任务执行资源组使用情况的监控能力。您可通过配置智能监控规则，监控任务运行状态与任务执行资源组的使用情况。智能监控概述

流程管控

DataWorks提供了任务开发与发布的流程管控（例如，代码审批、强制冒烟测试、自定义校验逻辑等），把控任务相关操作的正确性及安全性，详情请参见流程管控与操作检查。

数据治理

引擎绑定完成后，DataWorks将自动采集您引擎下的元数据，您可前往数据地图进行查看；同时，也可进入数据治理中心，查看DataWorks检测的待治理问题，进行相关数据的治理。

开放能力

DataWorks支持开放能力，帮助您快速实现各类应用系统对接DataWorks、方便快捷的进行数据流程管控、数据治理和运维，及时响应应用系统对接DataWorks的业务状态变化。
类别描述相关文档
OpenAPIDataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）
开放事件DataWorks开放平台的开放事件（OpenEvent）功能，为您提供消息订阅服务，通过订阅DataWorks事件状态、应用系统对接DataWorks、实时获取相关内容的状态变化，帮助您及时响应相应事件，满足个性化决策需求。开放事件（OpenEvent）
扩展程序DataWorks通过OpenEvent为您提供消息推送订阅功能，您可将服务程序注册为DataWorks的扩展程序，通过扩展程序来卡点并响应订阅的事件消息，实现通过扩展程序对特定事件进行消息通知与流程管控。扩展程序概述

附录：DataWorks与Hologres的关系

说明 简单模式工作空间仅一个生产环境，并且仅对应Hologres一个项目，本文以标准模式工作空间进行说明。
DataWorks为Hologres提供离线任务调度、元数据管理、数据治理、数据安全管控等能力，但任务计算、数据存储仍在Hologres中。标准模式工作空间下，DataWorks为不同环境绑定不同的Hologres项目，实现DataWorks开发环境与生产环境存储、资源等隔离。holo引擎绑定