本文将为您介绍什么是DataWorks,以及DataWorks的功能、约束与限制。

DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,为您提供数据集成数据开发数据管理数据质量数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

DataWorks基于MaxCompute作为核心的计算、存储引擎,为您提供海量数据的离线加工分析、数据挖掘等功能,详情请参见MaxCompute简介

您可以通过DataWorks,对数据进行传输、转换和集成等操作。从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其他数据系统。

学习路径

您可以通过DataWorks学习路径,快速了解DataWorks V2.0的相关概念、基础操作和进阶操作等内容。

功能概述

  • 全面托管的调度
    • DataWorks提供强大的调度能力,详情请参见调度配置
      • 支持根据时间、依赖关系,进行任务触发的机制。详情请参见时间属性依赖关系
      • 支持每日千万级别的任务,根据DAG关系准确、准时地运行。
      • 支持分钟、小时、天、周和月多种调度周期配置。
    • 完全托管的服务,无需关心调度的服务器资源问题。
    • 提供隔离功能,确保不同租户之间的任务不会相互影响。
  • 支持多种节点类型,详情请参见节点类型
    DataWorks支持数据同步ShellMaxCompute SQLMaxCompute MR等多种节点类型,通过节点之间的相互依赖,对复杂的数据进行分析处理。
    • 数据转化:依托MaxCompute强大的能力,保证了大数据的分析处理性能。
    • 数据同步:依托DataWorks中数据集成的强力支撑,支持超过20种数据源,为您提供稳定高效的数据传输功能。
  • 可视化开发

    DataWorks提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单拖拽和开发,即可完成复杂的数据分析任务。只要有浏览器有网络,便可随时随地进行开发工作。

  • 监控告警

    运维中心提供可视化的任务监控管理工具,支持以DAG图的形式展示任务运行时的全局情况,详情请参见运维中心

    您可以方便地配置各类报警方式,任务发生错误可及时通知相关人员,保证业务正常运行。详情请参见智能监控

约束与限制

  • 仅支持Chrome浏览器54以上版本。
  • 目前无法支持SQL运行在阿里云云数据库、分析型数据库等产品,仅支持MaxCompute。