DataWorks模块使用说明

本文将为您概要介绍DataWorks主要子模块的功能及基本使用场景。

使用流程

DataWorks为您提供从端到端的一站式数据开发治理平台,数据处理流程主要包括以下几个阶段。

image

DataWorks子模块说明

功能目录

子模块

功能说明

数据集成

数据集成

数据集成是一个稳定高效弹性伸缩的数据同步平台。

  • 提供复杂网络环境下丰富的异构数据源之间高速稳定的数据移动同步能力

  • 支持离线实时以及两者混合的同步方式

  • 具备表级别库级别同步控制

数据上传与下载

数据上传与下载提供便捷的数据上传功能,支持多种数据来源,包括本地CSV文件、OSS文件等,将这些数据上传到MaxCompute等大数据引擎中进行处理和分析。

数据开发与运维

数据建模

数据建模是全链路数据治理的第一步,基于阿里巴巴数据中台建模沉淀的方法论,专注于四个核心方面:

  • 数仓规划:设计高效的数据仓库架构。

  • 数据标准:建立统一的数据规范。

  • 维度建模:构建合理的数据模型。

  • 数据指标:定义准确的业务衡量标准。

以业务视角诠释业务数据,让企业内部实现“数同文”的快速理解与流通。

数据开发

数据开发(新版:参加公测)

数据开发是一站式大数据开发系统,支持在线开发多种大数据引擎的数据处理任务,包括MaxCompute、E-MapReduce、Hologres、Flink 和AnalyticDB。

  • 环境隔离:开发和生产环境严格分离,确保生产任务的稳定性。

  • 自定义发布检查:提供灵活的任务发布管控流程,增强任务发布的可靠性。

运维中心

运维中心的大数据运维与监控系统具备以下功能。

  • 实时任务监控:支持实时查看任务运行状态,确保及时掌握数据处理进度。

  • 智能运维操作:为异常任务提供智能诊断、重跑等操作,简化故障恢复流程。

  • 智能基线管理:提供智能基线功能,确保重要任务按时完成。解决产出时间不可控及海量任务监控难的问题,保障任务产出的时效性。

数据治理

数据地图

数据地图是企业级数据管理系统,基于统一元数据的底层建设,支持数据对象的管理和盘点,以及快速查找深度理解数据对象的能力。

数据质量

数据质量是统一数据质量校验系统,与DataWorks任务调度系统紧密结合,帮助用户第一时间发现质量问题有效防止数据质量问题扩散,为业务提供高效、可靠、可信赖的数据。

数据资产治理

数据资产治理是统一资产治理系统,针对多个治理领域,通过数据领域规则沉淀自动识别资产待优化问题项覆盖事后及事前的治理优化策略等方式,帮助用户主动式、体系化完成数据治理工作。

安全中心

安全中心是集数据资产分级分类敏感数据识别数据授权管理敏感数据脱敏敏感数据访问审计风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。

数据分析与服务

数据分析

数据分析提供了轻量化的分析工具,能够便捷地连接各类数据源和引擎提供SQL查询电子表格可视化分析智能洞察等多种数据分析能力,适用于数据分析师、业务运营等人员日常工作中的取数、查数和报表分析等业务洞察场景。

数据服务

数据服务是一个灵活轻量、安全稳定的数据API构建系统,旨在为个人、团队和企业提供全面的数据服务共享能力,帮助您统一管理面向内外部的API服务

更多

管理中心

管理中心为管理员提供工作空间通用配置数据源计算资源成员角色租户配置等核心功能的统一管理界面。通过这个界面,您可以高效地控制和优化各项资源,确保工作空间的顺畅运作,并根据需求灵活调整配置。

审批中心

审批中心是管理数据权限敏感行为的功能模块,支持定义审批策略处理审批流程,满足企业内部合规场景下的审批需求。

迁移助手

迁移助手是一站式任务迁移系统,支持将OozieAzkabanAirflowDolphinScheduler等开源调度引擎上的任务迁移DataWorks上,同时支持将DataWorks上已有的开发成果进行备份恢复

开放平台

开发平台提供开放API(OpenAPI)、开放事件(OpenEvent)、扩展程序(Extensions)的能力,帮助用户快速实现各类应用系统与DataWorks的对接。