阿里云首页
大数据开发治理平台 DataWorks
相关技术圈
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。
查看文档
功能发布
产品试用
学习课程
相关技术圈
学习路径
由浅入深带您玩转DataWorks!
了解
关于DW
产品概述
应用场景
基本概念
购买指导
了解版本规格
专业版应用场景
企业版应用场景
了解资源组
了解计费
购买指引
核心功能
功能发布记录
数据集成功能概述
数据开发功能概述
智能数据建模功能概述
数据服务功能概述
数据分析功能概述
运维中心功能概述
数据治理概述
上手
快速入门
准备工作
最简demo实操
入门课程实操
使用
数仓设计与建模
智能数据建模概述
DDM建模概述
数仓设计:需求阶段
数仓设计:设计阶段
数仓设计:开发阶段
数仓设计:测试阶段
数仓设计:发布阶段
数仓设计:运维阶段
数据集成
数据集成概述
数据同步解决方案
离线数据同步
实时数据同步
数据开发与分析
数据开发概述
数据分析概述
数据治理
数据治理概述
安全中心
审批中心
数据质量
数据保护伞
数据地图
资源优化
数据服务
数据服务概述
生成API
开放平台
开放平台概述
开放消息概述
其他功能
运维中心功能概述
迁移助手概述
实践
用户画像分析
MaxCompute版
EMR版
场景应用
构建优化数据仓库
在线运营分析
数据质量保障
窃电用户自动识
对接使用CDH
体验学习
大数据和AI体验馆
数据集成功能及操作
数据开发功能及操作
数据服务功能及操作
大数据开发治理平台 DataWorks
动态与公告
SLA修改公告
功能发布记录(2022年)
功能发布记录 2022年之前
版本历史
DataWorks V2.0
DataWorks V3.0
文档修订记录
产品简介
什么是DataWorks
功能特性
数据集成:全领域数据汇聚
数据开发与运维中心:数据加工
数据建模:智能数据建模
数据分析:即时快速分析
数据质量:全流程的质量监控
数据地图:统一管理,跟踪血缘
数据服务:低成本快速发布API
开放平台:能力全面开放
迁移助手与迁云服务
产品优势
应用场景
受众与核心能力
构建数据仓库
通用数据开发
客户案例
相关的云服务
基本概念
产品计费
购买指引
计费逻辑说明
DataWorks版本规格
DataWorks各版本详解
DataWorks版本服务计费说明
DataWorks增值版本到期降级功能变化清单
独享资源组
独享调度资源组
独享数据集成资源组
独享数据服务资源组
数据建模计费说明
智能数据建模计费标准
DATABLAU数据建模功能模块计费标准
数据集成计费说明
独享数据集成资源组计费说明:包年包月
公共数据集成(调试)资源组:按量计费
公网流量计费说明
任务调度计费说明
独享调度资源组计费说明:包年包月
公共调度资源组计费说明:按量付费
智能监控计费说明
基线实例计费说明
报警短信与报警电话计费
数据质量计费说明
数据服务计费说明
独享数据服务资源组计费说明:包年包月
公共数据服务资源组计费说明:按量付费
OpenAPI计费说明
查看账单详情
扣费与欠费说明
到期说明及续费操作
通用参考:取消包年包月产品的自动续费
通用参考:按量付费转包年包月
公共参考
DataWorks按量计费概述
DataWorks按量计费一览表
开始使用
沙箱体验
AI体验教程
准备工作
DataWorks准备工作流程
准备阿里云账号(主账号)
准备RAM用户(子账号)
创建RAM用户
RAM用户登录并使用DataWorks
(进阶)RAM角色登录并使用DataWorks
开通DataWorks服务
创建工作空间
为工作空间绑定引擎
为工作空间添加空间成员
附录
空间管理员职责
快速入门
DataWorks模块使用说明
数据开发入门
数据开发:开发者
开发管控:管理者
运维中心入门
数据质量入门
数据服务入门
数据保护伞入门
产品教程
概述
简单开发应用教程
入门概述
建表并上传数据
创建业务流程
创建同步任务
配置调度和依赖属性
运行及排错
使用临时查询快速查询SQL(可选)
简单用户画像分析(MaxCompute版)
Workshop介绍
准备环境
采集数据
加工数据
配置数据质量监控
数据可视化展现
简单用户画像分析(EMR版)
准备环境
采集数据
加工数据
收集和查看元数据
配置数据质量监控
对接使用CDH与CDP
云原生一体化数仓
离线实时一体化数仓
分析服务一体化数仓
数据建模新能力解读
数据治理能力解读
湖仓一体能力解读
零售电子商务数仓搭建
概述
环境准备
维度建模
数据开发
任务运维
数据治理
生成数据API
数据展示:Quick BI
附录:MaxCompute ODS层DDL建表语句
管理控制
管理控制台功能概览
工作空间管理功能概览
工作空间管理
工作空间管理概述
规划工作空间
创建并管理工作空间
绑定与管理计算引擎
引擎的基本操作
绑定MaxCompute引擎
绑定E-MapReduce计算引擎
绑定Hologres计算引擎
绑定AnalyticDB for PostgreSQL计算引擎
绑定AnalyticDB for MySQL计算引擎
绑定CDH计算引擎
绑定ClickHouse计算引擎
必读:简单模式和标准模式的区别
场景:工作空间模式升级(简单模式升级标准模式)
场景:MaxCompute引擎在不同模式工作空间访问资源与权限说明
成员权限管理
DataWorks权限体系功能概述
产品及控制台权限管控
产品及控制台权限控制详情:RAM Policy
自定义RAM Policy策略
空间级模块权限管控
全局级模块权限控制
引擎与数据权限管控
引擎与数据权限管控概述
MaxCompute数据权限控制
MaxCompute数据权限控制详情
DataWorks预设角色与MaxCompute引擎权限的映射关系
最佳实践:为RAM用户授权指引
附录:预设角色权限列表(空间级)
资源组管理
DataWorks资源组概述
使用公共资源组
新增和使用独享数据集成资源组
新增和使用独享调度资源组
新增和使用独享数据服务资源组
变更规格操作
扩缩容操作
通用参考:添加路由
通用参考:切换资源组
附录
运维助手
独享资源组模式
DataWorks服务关联角色
查看独享资源组的使用率
数据源管理
创建与管理数据源
各数据源配置详情
报警配置
查看和设置报警资源
查看和设置报警联系人
数据集成
数据集成概述
数据源配置与管理
数据源概述
支持的数据源与读写能力
选择同步方案概述
支持的数据源与读写能力
支持同步的库或表个数
支持的DML及DDL操作
权限管理
RAM角色授权模式
DataWorks数据集成服务关联角色
通过RAM角色授权模式配置数据源
管理数据源权限
第三方认证文件管理
RDS实例跨账号授权配置
数据源开发和生产环境隔离
数据库环境准备
数据库环境准备概述
MaxCompute环境准备
MySQL环境准备
PolarDB环境准备
Oracle环境准备
PostgreSQL环境准备
DRDS环境准备
OceanBase环境准备
计费方式
任务配置方式
DataStudio侧离线同步
支持的数据源与读写插件
离线同步能力说明
离线同步任务配置
通过向导模式配置离线同步任务
通过脚本模式配置离线同步任务
附录
整库迁移与批量上云
配置Reader插件
配置Writer插件
DataStudio侧实时同步
实时同步支持的数据源
实时同步能力说明
实时同步任务配置
配置整库增量数据实时同步
配置单表增量数据实时同步
附录:单表增量实时同步配置详情
输入
配置DataHub输入
实时同步字段格式
配置Kafka输入
配置LogHub(SLS)输入
配置MySQL输入
配置PolarDB输入
输出
配置AnalyticDB MySQL输出
配置DataHub输出
配置Hologres输出
配置Elasticsearch输出
配置Kafka输出
配置MaxCompute输出
转换
配置数据脱敏
配置数据过滤转换
配置字符串替换
附录:整库增量实时同步配置详情
同步整库数据至DataHub
配置并管理实时同步任务
附录:DataHub消息格式
同步整库数据至AnalyticDB MySQL
配置并管理实时同步任务
常见问题
同步整库数据至Hologres
配置并管理实时同步任务
常见问题
同步整库数据至Kafka
附录:消息格式
配置并管理实时同步任务
同步整库数据至MaxCompute
配置并管理实时同步任务
数据集成侧同步任务
支持的数据源及同步方案
同步解决方案能力说明
数据集成侧同步任务
附录:各方案配置详情
同步数据至DataHub
一键实时同步至DataHub
同步数据至Hologres
增加或删除已运行任务的同步表
常见问题
全增量实时同步至Hologres
一键实时同步至Hologres
同步数据至ElasticSearch
整库离线同步至Elasticsearch
一键实时同步至Elasticsearch
同步数据至Kafka
增加或删除已运行任务的同步表
一键实时同步至Kafka
同步数据至MaxCompute
一键实时同步至MaxCompute
整库离线同步至MaxCompute
同步数据至OSS
整库离线同步至OSS
同步数据至MySQL
整库实时同步至MySQL
同步数据至PolarDB
整库实时同步至PolarDB
同步数据至Oracle
整库实时同步至Oracle
同步数据至AnalyticDB MySQL 3.0
一键实时同步至AnalyticDB MySQL 3.0
常见问题
通过OpenAPI创建离线同步任务
网络连通
配置资源组与网络连通
添加白名单
最佳实践
同阿里云主账号访问
跨阿里云主账号访问
附录:ECS自建数据库的安全组配置
任务运维和调优
离线同步
离线同步任务运维
离线同步并发和限流之间的关系
离线同步日志分析
离线同步任务调优
离线同步数据质量排查
实时同步
实时同步任务运维
实时同步任务延迟解决方案
解决方案
同步解决方案任务运维
一键MaxCompute任务出错恢复
一键MaxCompute Merge任务节点问题排查方案
常见业务场景与最佳实践
关系型数据库整库离线同步至MaxCompute
OSS数据离线同步至MaxCompute
关系型数据库增量数据离线同步至MaxCompute
RDS增量数据同步至MaxCompute
Kafka增量数据同步至MaxCompute
关系型数据库分库分表同步至MaxCompute
MySQL分库分表同步至MaxCompute
关系型数据库全增量实时同步至MaxCompute
MySQL一键实时同步至MaxCompute
关系型数据库分库分表实时同步至Hologres
MySQL分库分表同步至Hologres(方案1.0)
MySQL分库分表同步至Hologres(方案2.0)
关系型数据库整库离线同步至Hologres
ClickHouse整库数据离线同步至Hologres
关系型数据库整库离线同步至ClickHouse
MaxCompute数据离线同步至ClickHouse
关系型数据库整库实时入湖(OSS)
MySQL整库实时同步至OSS数据湖
RestAPI Reader最佳实践
场景:调度参数在数据集成的典型应用场景
场景:配置增量数据离线同步任务
场景:配置分库分表离线同步任务
常见问题
数据建模
DataWorks智能数据建模
概述
首页
数仓规划
数仓规划概述
业务分类
公共层
业务过程
数据域
数仓分层
创建数仓分层
配置及使用数仓分层检查器
查看并管理数据分层
应用层
数据集市
主题域
建模空间
系统管理
数据标准
数据标准概述
字段标准
标准代码
度量单位
命名词典
数据指标
原子指标
数据指标概述
修饰词
时间周期
派生指标
维度建模
维度建模概述
创建维度表
创建维度
创建明细表
创建汇总表
创建应用表
发布与管理表
导入与导出表配置
使用FML语句配置并管理数据表
附录:使用画板工具创建表
查看并管理模型
逆向建模
模型开发
通用工具
导入
行业模型模版
Datablau数据建模
概述
用户授权与管理
下载建模工具(DDM)
数据标准管理
数据标准
标准代码
命名词典
入门实践
数据模型应用
导入模型
模型比较
继承和转换
DDL脚本
UDP
模型规范化检查
个性化选项
数据建模
数据模型概述
管理模型
管理表
管理字段
管理主题域
管理索引
管理视图
管理分区
管理关系
管理图框
管理备注
管理布局
模型库管理
提交并发布模型
WEB模型
我的地盘
模型目录
用户管理
数据标准
标准代码
功能快捷键
数据开发(DataStudio)
数据开发概述
数据开发功能索引
各引擎使用说明
DataWorks On MaxCompute使用说明
DataWorks On Hologres使用说明
DataWorks On EMR开发流程(必读)
任务开发
通用开发流程
创建业务流程
创建业务流程
创建手动任务
数据集成
数据同步说明
创建离线同步节点
创建实时同步节点
MaxCompute
创建节点
创建ODPS SQL节点
创建并使用SQL组件节点
组件概述
定义组件:创建并管理组件
使用组件:创建SQL组件节点
使用组件
创建ODPS Spark节点
创建PyODPS 2节点
创建PyODPS 3节点
创建ODPS Script节点
创建ODPS MR节点
创建表
创建并使用MaxCompute表
创建资源及函数
创建并使用MaxCompute资源
创建并使用MaxCompute函数
附录
函数列表
MaxCompute函数管理
MaxCompute资源管理
Hologres
创建节点
Hologres SQL节点
一键MaxCompute表结构同步节点
一键MaxCompute数据同步节点
创建表
创建Hologres内部表
创建Hologres外部表
EMR
准备工作:DataLake(新版数据湖)
DataLake集群配置
DataWorks配置
准备工作:Hadoop
准备工作:绑定EMR引擎
概述(DataWorks on EMR必读)
创建节点
创建EMR Presto节点
创建EMR Hive节点
创建EMR MR节点
创建EMR Spark SQL节点
创建EMR Spark节点
创建EMR Shell节点
创建EMR Impala节点
创建EMR Spark Streaming节点
创建表
创建EMR表
创建资源及函数
创建和使用EMR资源
创建EMR函数
附录
DataWorks on EMR权限管控说明
快捷模式与安全模式差异比对
DataWorks on EMR集群配置最佳实践
在DataWorks上运行PySpark作业的最佳实践
AnalyticDB for PostgreSQL
创建AnalyticDB for PostgreSQL节点
创建AnalyticDB for PostgreSQL表
AnalyticDB for MySQL
创建AnalyticDB for MySQL节点
ClickHouse
创建ClickHouse SQL节点
算法
创建机器学习(PAI)节点
通用与其他
OSS对象检查节点
for-each节点
for-each节点逻辑原理介绍
配置for-each节点
do-while节点
do-while节点逻辑原理介绍
配置do-while节点
do-while节点最佳实践
归并节点
分支节点
赋值节点
Shell节点
虚拟节点
HTTP触发器节点
参数节点
FTP Check节点
Data Lake Analytics节点
MySQL节点
通用表管理
查看公共表
外部表
表管理
通用节点管理
使用节点组
回收站
DataWorks节点合集
附录
创建解决方案
SQL代码编码原则和规范
自定义节点
创建Hologres开发节点
创建AnalyticDB for MySQL节点
任务调度配置
任务调度属性配置概述
配置基础属性
配置调度参数
调度参数支持的格式
配置并使用调度参数
场景示例
调度参数典型场景配置示例
各类型节点的调度参数配置示例
自定义参数取值差异对比
调度参数返回值二次处理的典型场景
配置时间属性
时间属性配置说明
实例生成方式:发布后即时生成实例
调度周期:分钟调度
调度周期:小时调度
调度周期:日调度
调度周期:周调度
调度周期:月调度
调度周期:年调度
场景:如何配置业务流程定时时间
配置资源属性
配置调度依赖
调度依赖配置指引
配置同周期调度依赖
配置依赖上一周期(跨周期依赖)
必读:复杂依赖场景调度配置原则与示例
孤立节点
典型应用场景案例
场景1:包含离线同步节点的业务流程,如何配置调度依赖
场景2:依赖上一周期的结果时,如何配置调度依赖
场景3:如何配置跨业务流程、跨工作空间的调度依赖
附录
确认表血缘
预览依赖关系
代码解析结果对比
删除或变更节点输出的影响
各类型节点自动解析场景
配置节点上下文
常见问题
提交节点报错:当前节点依赖的父节点输出名不存在
提交节点时提示:输入输出和代码血缘分析不匹配
任务调试
任务调试流程
调试代码片段:快捷运行
执行冒烟测试
创建临时查询
运行历史
流程参数
代码评审
任务发布
发布任务
下线任务
跨项目克隆
跨项目克隆说明
跨项目克隆实践
流程管控
开放性与二次开发
自定义节点
概述
开发自定义插件包
新增节点插件
新增自定义节点
新增数据质量插件
高级功能与开发提效
批量操作
代码搜索
血缘关系
查看版本
查看代码结构
资源组编排
上传数据
编辑器快捷键列表
编辑器代码提效
查看数据开发操作记录
数据开发设置
个人设置
代码模板
调度设置
表管理
工作空间备份恢复
安全设置与其他
场景:数据开发定制化展示
附录
HoloStudio
概述
HoloStudio快速入门
绑定交互式分析实例
新建数据库
子账号使用HoloStudio
SQL Console
PG管理
创建及管理内部表
创建及管理外部表
数据开发
概述
一键同步MaxCompute表结构
一键同步MaxCompute数据
一键上传本地文件
Hologres开发:周期性调度
终端
发布中心
发布中心概述
创建并配置发布环境
创建及发布发布包:跨工作空间
创建及发布发布包:跨云
查看发布包列表
运维中心
运维中心概述
查看运维大屏
实时任务运维
实时计算任务运行与管理
实时同步任务运行与管理
周期任务运维
周期任务基本运维操作
查看并管理周期任务
查看周期实例
执行补数据并查看补数据实例
执行测试并查看测试实例
任务运行诊断
附录:DAG图功能介绍
附录:强制重跑下游
手动任务运维
运行并管理手动任务
查看并管理手动实例
智能监控
智能监控概述
智能基线
智能基线概述
基线管理
基线实例
事件管理
附件
合理配置基线承诺时间和预警余量
规则管理
报警信息
值班表
自动运维
常见问题
智能诊断
资源运维
引擎运维
操作历史
常见问题
数据未正常产出或任务未运行如何处理
找不到任务实例如何处理
数据治理
数据治理中心
数据治理中心概述
配置管理
查看治理方案模板
注册并配置检查项
配置治理项
创建并管理治理单元
消息设置
设置消息通知
治理工作台
治理事项
查看并处理治理项问题
查看并处理检查项事件
查看并管理白名单
专项治理
创建并管理任务下线计划
治理工具箱
查看任务360
查看表360
查看治理结果
知识库
使用分析
全景视角
使用透视
安全中心(新版)
概述
数据平台安全
平台安全诊断
数据访问控制
MaxCompute数据访问权限控制
DLF数据访问权限控制
附录:DataWorks访问DLF的服务关联角色
数据使用安全
数据使用诊断
敏感数据管理(数据保护伞)
安全策略
实体转交
数据查询与分析管控
合规检查
数据跨境自评估
数据跨境风险监测
数据安全合规服务
审批中心
审批中心概述
审批策略创建与管理
计算引擎审批策略
数据服务审批策略
数据集成审批策略
审批处理与查看
数据质量
数据质量概述
进入数据质量概览
查看我的订阅
规则配置
按表配置监控规则
规则列表
按模板配置监控规则
查看监控任务
去噪管理
配置
新增和操作报告模板
新建、操作和应用规则模板
使用指南
配置DataHub监控
内置模板规则
配置MaxCompute监控
数据保护伞
概述
配置数据规则
数据分类分级
自生成数据识别模型
创建并管理样本库
敏感数据识别
手动修正数据
数据脱敏管理
风险识别管理(旧版)
风险识别管理(新版)
创建并管理用户组
数据发现
数据访问
数据风险(新版)
数据风险(旧版)
数据血缘(公测)
数据溯源
系统配置
数据地图
数据地图概述
首页
数据总览
全部数据
表详情
查找表
查看表详情
申请表权限
API详情
查找API
查看API详情
数据专辑
数据发现
元数据采集
采集OTS元数据
采集E-MapReduce元数据
采集MySQL元数据
采集SQL Server元数据
采集PostgreSQL元数据
采集Oracle元数据
采集AnalyticDB for PostgreSQL元数据
采集AnalyticDB for MySQL 2.0元数据
采集AnalyticDB for MySQL 3.0元数据
采集OSS元数据
采集Hologres元数据
采集CDH Hive元数据
数据抽样采集器
CDH Hive数据抽样采集器
我的数据
更多
工作空间列表
配置管理
OSS数据管理
服务关联角色
附录:数据地图权限管控能力总览
附录:元数据采集相关白名单列表
元数据采集的数据源有白名单访问控制时需要配置的白名单
MaxCompute开启白名单访问控制时需要配置的白名单列表
通过操作审计查询行为事件日志
数据分析
概述
SQL查询
电子表格
创建并管理电子表格
导入数据至电子表格
导出、分享和下载电子表格
分析数据
管理模板
维表
创建并管理维表
编辑维表
导入数据至维表
分享维表
数据分析场景实践
附录:数据分析白名单列表
数据服务
概述
准备工作
网络连通与白名单配置
配置HBase数据源网络连通
资源规划和配置
创建并管理业务流程
API
创建API
生成API
生成API概述
配置数据源
通过向导模式生成API
通过脚本模式生成API
加速服务
脚本模式实践:高级SQL(Mybatis语法)示例
注册API
测试API
授权API
发布API
查看及使用API
调用API
日志分析(公测)
计量API(新版)
计量大屏
计量详情
最佳实践:API请求参数的选填设置
函数
创建与管理函数
发布函数
测试函数
使用过滤器
创建和使用Aviator函数(过滤器)
使用Aviator函数作为过滤器的最佳实践
创建和使用Python函数(过滤器)
服务编排(改造中,暂停使用)
服务编排功能介绍
管理服务编排
附录:数据服务错误代码表
迁移助手
概述
任务上云
导出开源引擎任务
导入开源引擎任务
DataWorks迁移
创建和查看DataWorks导出任务
创建和查看DataWorks导入任务
迁移EMR项目至DataWorks
开放平台
开放平台概览
开放API(OpenAPI)
开放事件(OpenEvent)
OpenEvent概述
开启消息订阅
附录:DataWorks服务关联角色
附录:发送给EventBridge的消息格式
扩展程序(Extensions)
扩展程序概述
准备工作
开发部署扩展程序
测试应用扩展程序
高级应用:扩展程序参数配置
高级应用:扩展程序选项配置
开发参考:扩展事件编码
应用示例:触发扩展程序卡点
应用示例:数据开发过程触发事件检查
应用示例:运维中心触发事件检查
最佳实践
最佳实践:任务发布封网管控
最佳实践:(高级特性应用)禁止使用MAX_PT函数
最佳实践:运维大屏搭建
最佳实践:订阅实例状态变更消息
最佳实践:通过OpenAPI查询表列表、表详情等
最佳实践:集成第三方调度系统
研发规范
数据仓库研发规范概述
需求阶段
设计阶段
开发阶段
测试阶段
发布阶段
运维阶段
附录
数据仓库需求模板
代码评审报告
ETL文档
数据探查报告
验收报告模板
交付测试报告
单元测试报告
发布操作文档
测试分析方案报告
调度设计文档
质量评估报告模板
最佳实践
数据迁移
IoT数据自动化同步至云端解决方案
通过数据集成导入数据至Elasticsearch
日志服务通过数据集成投递数据
DataHub通过数据集成批量导入数据
MaxCompute跨项目迁移
Hadoop数据迁移MaxCompute最佳实践
迁移ECS自建MySQL数据库至MaxCompute
迁移Oracle数据至MaxCompute最佳实践
Kafka数据迁移MaxCompute最佳实践
JSON数据从OSS迁移至MaxCompute
JSON数据从MongoDB迁移至MaxCompute
Elasticsearch数据迁移至MaxCompute
OTSStream配置同步任务
专有网络VPC的数据源连通独享数据集成资源组
MySQL数据源转PolarDB数据源的OpenAPI最佳实践
离线同步读取MongoDB数据
离线同步写入MongoDB数据
实时同步任务告警设置最佳实践
数据开发
调度参数配置最佳实践
设置调度依赖最佳实践
节点运行ECS机器上的脚本
使用MaxCompute分析IP来源最佳实践
在PyODPS节点中调用第三方包
分支节点实现特定时间执行任务
DataWorks数据服务对接DataV最佳实践
天任务依赖分钟任务最佳实践
通过DataWorks实现邮件外发最佳实践
PyODPS节点实现结巴中文分词
基于AnalyticDB构建企业数仓
构建与优化数据仓库
数仓构建流程
业务调研
确定需求
分析业务过程
划分数据域
明确统计指标
定义维度与构建总线矩阵
架构与模型设计
数据模型
技术架构选型
层次调用规范
数仓分层
项目分配与安全
数仓性能优化
建立性能基准
结果验证
数据安全
实现指定用户访问特定UDF最佳实践
RAM用户仅从特定IP登录DataWorks
权限管理与规范化数据开发
DataWorks on EMR数据安全方案
数据分析
互联网、电商行业离线大数据分析
电商网站智能推荐
基于MaxCompute进行大数据BI分析
数据质量保障教程
数据质量教程概述
数据质量管理流程
数据资产定级
离线数据加工卡点
数据质量风险监控
数据及时性监控
实现窃电用户自动识别教程
窃电用户自动识别概述
准备环境
准备数据
加工数据
数据建模
实现开发生产等多套环境隔离
视频专区
功能介绍
产品选型
进阶操作
最佳实践
常见问题
DataWorks交流钉钉群
数据集成任务及数据集成资源组常见问题
资源组操作及网络连通
添加白名单的常见问题
离线同步常见问题
实时同步常见问题
同步解决方案常见问题
收费常见问题
调度配置
调度参数
依赖关系
运维中心
问题汇总
等待资源
任务未运行
任务实例状态异常
为什么会空跑
任务冻结与解冻
补数据
任务运行成功没有数据
任务运行失败
下线节点
其他问题
数据开发与运行
账号与权限
用户权限控制
操作权限控制
操作审计
资源组
独享资源组
自定义资源组
公共数据集成(调试)资源组
数据源
数据源权限管理
数据治理
智能监控
数据服务
安全中心
OpenAPI
API参考
DataWorks OpenAPI概述
租户
ListCalcEngines
CreateDataSource
ListDataSources
UpdateDataSource
DeleteDataSource
ListResourceGroups
GetProject
AddProjectMemberToRole
CreateProjectMember
DeleteProjectMember
ListProjectRoles
RemoveProjectMemberFromRole
ListProjectMembers
ListProjects
ListProjectIds
DeleteProject
CreateProject
UpdateProject
ChangeResourceManagerResourceGroup
元数据
GetMetaDBInfo
GetMetaDBTableList
CheckMetaTable
CheckMetaPartition
SearchMetaTables
GetMetaTableBasicInfo
GetMetaTableColumn
GetMetaTablePartition
GetMetaTableOutput
GetMetaTableChangeLog
GetMetaTableIntroWiki
GetMetaTableLineage
GetMetaColumnLineage
CreateMetaCategory
DeleteMetaCategory
UpdateMetaCategory
GetMetaCategory
GetMetaTableListByCategory
AddToMetaCategory
DeleteFromMetaCategory
CreateTable
UpdateTable
UpdateTableAddColumn
DeleteTable
GetDDLJobStatus
UpdateMetaTable
UpdateMetaTableIntroWiki
ListMetaDB
UpdateTableModelInfo
CreateTableTheme
DeleteTableTheme
UpdateTableTheme
ListTableTheme
GetMetaTableThemeLevel
CreateTableLevel
UpdateTableLevel
DeleteTableLevel
ListTableLevel
UpdateMetaCollection
ListMetaCollections
ListMetaCollectionEntities
DeleteMetaCollection
GetMetaCollectionDetail
DeleteMetaCollectionEntity
AddMetaCollectionEntity
CreateMetaCollection
GetMetaTableProducingTasks
数据开发
CreateFile
CreateUdfFile
CreateBusiness
DeleteBusiness
CreateFolder
UpdateBusiness
ListFiles
EstablishRelationTableToBusiness
SubmitFile
ListBusiness
GetFileVersion
DeleteFolder
DeleteFile
GetDeployment
UpdateFile
GetFolder
ListFileVersions
GetFile
ListFolders
DeployFile
UpdateUdfFile
GetBusiness
UpdateFolder
ListDeployments
UpdateIDEEventResult
GetIDEEventDetail
数据集成
CreateDISyncTask
DeleteDISyncTask
UpdateDISyncTask
TestNetworkConnection
GetDataSourceMeta
ListDIProjectConfig
UpdateDIProjectConfig
GetDISyncTask
DeployDISyncTask
获取同步任务实例信息
TerminateDISyncInstance
GenerateDISyncTaskConfigForCreating
GenerateDISyncTaskConfigForUpdating
QueryDISyncTaskConfigProcessResult
StartDISyncInstance
StopDISyncInstance
数据建模
QueryPublicModelEngine
运维中心
ListAlertMessages
GetBaselineConfig
ListNodesByBaseline
ListBaselineConfigs
GetBaselineKeyPath
GetBaselineStatus
ListBaselineStatuses
DeleteRemind
UpdateRemind
CreateRemind
GetRemind
ListReminds
ListTopics
GetTopic
GetTopicInfluence
GetNode
ListNodeInputOrOutput
ListNodes
GetNodeCode
GetInstance
ListInstances
GetInstanceLog
StopInstance
RestartInstance
SetSuccessInstance
SuspendInstance
ResumeInstance
RunCycleDagNodes
RunSmokeTest
ListSuccessInstanceAmount
ListInstanceAmount
TopTenElapsedTimeInstance
TopTenErrorTimesInstance
GetFileTypeStatistic
GetInstanceStatusStatistic
ListFileType
RunManualDagNodes
ListManualDagInstances
GetDag
ListDags
ListNodesByOutput
RunTriggerNode
GetNodeParents
GetNodeChildren
UpdateNodeRunMode
UpdateNodeOwner
UpdateWorkbenchEventResult
ListShiftPersonnels
ListShiftSchedules
ListInstanceHistory
ListInnerNodes
OfflineNode
数据质量
UpdateQualityFollower
UpdateQualityRule
GetQualityRule
ListQualityRules
CreateQualityRule
DeleteQualityFollower
DeleteQualityRule
GetQualityFollower
CreateQualityFollower
DeleteQualityEntity
GetQualityEntity
CreateQualityEntity
CreateQualityRelativeNode
DeleteQualityRelativeNode
ListQualityResultsByEntity
ListQualityResultsByRule
数据服务
CreateDataServiceApi
PublishDataServiceApi
DeleteDataServiceApi
ListDataServiceApis
GetDataServiceApi
UpdateDataServiceApi
GetDataServicePublishedApi
ListDataServicePublishedApis
ListDataServiceApiAuthorities
ListDataServiceAuthorizedApis
AbolishDataServiceApi
GetDataServiceApplication
ListDataServiceApplications
CreateDataServiceFolder
GetDataServiceFolder
ListDataServiceFolders
CreateDataServiceGroup
GetDataServiceGroup
ListDataServiceGroups
CreateDataServiceApiAuthority
DeleteDataServiceApiAuthority
ListDataServiceApiTest
TestDataServiceApi
GetDataServiceApiTest
SubmitDataServiceApi
SaveDataServiceApiTestResult
数据分析
UmountDirectory
MountDirectory
数据保护伞
GetOpSensitiveData
DesensitizeData
GetOpRiskData
GetSensitiveData
ScanSensitiveData
迁移助手
CreateImportMigration
GetMigrationProcess
StartMigration
CreateExportMigration
GetMigrationSummary
ListMigrations
安全中心
CreatePermissionApplyOrder
GetPermissionApplyOrderDetail
ListPermissionApplyOrders
ApprovePermissionApplyOrder
RevokeColumnPermission
RevokeTablePermission
开放平台
ListExtensions
GetExtension
GetOptionValueForProject
ListEnabledExtensionsForProject
API实战实践
数据开发全流程
数据开发API调用示例
搭建运维监控大屏
表结构变更时触发任务变更
依赖DataWorks OpenAPI补数据实现圈人
通过OpenAPI创建离线同步任务
最佳实践:数据开发、提交与运行
通用数据结构
SDK参考
安装Java SDK
相关协议
DataWorks服务等级协议(SLA)
产品服务协议
大数据专家服务
DataHub
Cloudera CDP 企业数据云平台
智能用户增长
开源大数据平台E-MapReduce
Quick BI
实时计算Flink版
图计算服务
DataV数据可视化
云原生大数据计算服务 MaxCompute
首页
大数据开发治理平台 DataWorks