本文将为您概要介绍DataWorks主要子模块的功能及基本使用场景。
使用流程
DataWorks为您提供从端到端的一站式数据开发治理平台,数据处理流程主要包括以下几个阶段。
DataWorks子模块说明
功能目录 | 子模块 | 功能说明 |
数据集成 | 数据集成是一个稳定高效、弹性伸缩的数据同步平台。
| |
数据上传与下载提供便捷的数据上传功能,支持多种数据来源,包括本地CSV文件、OSS文件等,将这些数据上传到MaxCompute等大数据引擎中进行处理和分析。 | ||
数据开发与运维 | 数据建模是全链路数据治理的第一步,基于阿里巴巴数据中台建模沉淀的方法论,专注于四个核心方面:
以业务视角诠释业务数据,让企业内部实现“数同文”的快速理解与流通。 | |
数据开发是一站式大数据开发系统,支持在线开发多种大数据引擎的数据处理任务,包括MaxCompute、E-MapReduce、Hologres、Flink 和AnalyticDB。
| ||
运维中心的大数据运维与监控系统具备以下功能。
| ||
数据治理 | 数据地图是企业级数据管理系统,基于统一元数据的底层建设,支持数据对象的管理和盘点,以及快速查找和深度理解数据对象的能力。 | |
数据质量是统一数据质量校验系统,与DataWorks任务调度系统紧密结合,帮助用户第一时间发现质量问题,有效防止数据质量问题扩散,为业务提供高效、可靠、可信赖的数据。 | ||
数据资产治理是统一资产治理系统,针对多个治理领域,通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式,帮助用户主动式、体系化完成数据治理工作。 | ||
安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。 | ||
数据分析与服务 | 数据分析提供了轻量化的分析工具,能够便捷地连接各类数据源和引擎,提供SQL查询、电子表格、可视化分析、智能洞察等多种数据分析能力,适用于数据分析师、业务运营等人员日常工作中的取数、查数和报表分析等业务洞察场景。 | |
数据服务是一个灵活轻量、安全稳定的数据API构建系统,旨在为个人、团队和企业提供全面的数据服务和共享能力,帮助您统一管理面向内外部的API服务。 | ||
更多 | 管理中心为管理员提供工作空间通用配置、数据源、计算资源、成员角色、租户配置等核心功能的统一管理界面。通过这个界面,您可以高效地控制和优化各项资源,确保工作空间的顺畅运作,并根据需求灵活调整配置。 | |
审批中心是管理数据权限、敏感行为的功能模块,支持定义审批策略和处理审批流程,满足企业内部合规场景下的审批需求。 | ||
迁移助手是一站式任务迁移系统,支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎上的任务迁移至DataWorks上,同时支持将DataWorks上已有的开发成果进行备份和恢复。 | ||
开发平台提供开放API(OpenAPI)、开放事件(OpenEvent)、扩展程序(Extensions)的能力,帮助用户快速实现各类应用系统与DataWorks的对接。 |