全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

产品概述

更新时间:2017-11-07 11:49:11

DataWorks(数据工场,原大数据开发套件)是阿里云数加重要的 PaaS 平台产品,它提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

DataWorks(数据工场)基于 MaxCompute 作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力,详情请参见 MaxCompute 简介

DataWorks(数据工场) 是阿里云推出的大数据领域 PaaS 平台,是一站式的 DW 能力平台,提供数据集成、数据开发、数据管理、数据治理等全方位的产品服务。

使用 DataWorks(数据工场),可对数据进行数据传输、数据转换等相关操作,从不同的数据存储引入数据,对数据进行转化处理,最后将数据提取到其他数据系统。完成整个数据的分析流程,如下图所示:

阿里云大数据开发套件架构图

功能概述

全面托管的调度

提供强大的调度能力,支持按照时间、依赖关系的任务触发机制,支持每日 千万级别 的任务按照 DAG 关系准确、准时运行。支持分钟、小时、天、周和月多种调度周期配置。

完全托管的服务,无需关心调度服务器资源问题。租户之间提供隔离,保证不同租户之间的任务不会相互影响。

支持多种任务类型

支持 数据同步、SHELL、MaxCompute SQL、MaxCompute MR 等多种任务类型,通过任务之间的相互依赖完成复杂的数据分析处理。

  • 数据转化能力依托 MaxCompute 强大的能力,保证了大数据的分析处理性能。更多详情请参见 MaxCompute 简介

  • 数据同步能够依托 DataWorks(数据工场)> 数据集成 的强力支撑,支持多达 20+ 数据源,提供稳定高效的数据传输。更多详情请参见 数据集成简介

可视化开发

提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单的拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络,便可随时随地进行开发工作。

监控告警

运维中心提供可视化的任务监控管理工具,支持以 DAG 图的形式展示任务运行时的全局情况。

可方便地配置短信报警,任务发生错误可及时通知相关同学,保证业务正常运行。

约束与限制

  • 仅支持 Chrome 浏览器 54 以上版本。
  • 目前无法支持 SQL 运行在阿里云云数据库、阿里云分析型数据库等产品,仅支持 MaxCompute。
本文导读目录