开发限制
本文将介绍数据库开发过程中的使用限制。常见标识符限制 类型 最大字符长度 取值范围 Database 32 大小写字母、数字和下划线（_）。Sequence 128 任意符合Unicode编码方式的字符。Partition 16 Table 64 Column Partition Key View ...
功能特性
查看我的权限 规范管理 开发规范 支持配置数据库开发规范，通过设计规则来规范开发过程。如：设计规则、开发风险识别规则等。SQL变更规则 变更规范 支持配置数据库变更规范，通过配置规则来规范数据库变更操作，如SQL变更规则、变更风险...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
新建数据库
服务器 Hologres实例的网络地址 实例选择后自动生成 端口 Hologres实例的网络地址 实例选择后自动生成 连通性测试 测试是否连通 无 使用新的数据库开发 新DB绑定成功后，返回HoloStudio，在PG管理页面单击 刷新，即可显示新的数据库，您...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
流程管控
本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式...
连接方式概述
Java 数据库连接器（Java Database Connectivity，JDBC）提供了 Java 连接关系数据库的接口，是一种 Java 标准。JDBC 标准由 Sun Microsystems 定义，通过标准 java.sql 接口实现，支持各个提供程序使用自己的 JDBC 驱动程序来实现和扩展...
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表，请根据以下命名规范严格区分数据库表名，避免误操作生产环境。环境类型 标准模式 示例 开发环境 项目名_...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
高度兼容性
存储过程开发语言 存储过程开发语言是业务应用常用的一种数据库开发语言，被很多应用开发同学所熟悉，PolarDB PostgreSQL版（兼容Oracle）对Oracle存储过程语言有着很高的兼容度，包括COLLECTION、GOTO、SAVEPOINT、ROLLBACK TO、CURSOR、...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
应用示例：数据开发过程触发事件检查
使用限制 扩展程序启用后，实际在数据开发过程中，扩展事件被触发后的消息通知与响应有以下限制。系统内置扩展程序启用后，暂时仅支持对ODPS SQL类的节点生效。即启用后，仅ODPS SQL类节点中相应扩展点事件被触发时，流程会被阻断，通过...
任务调试流程
调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
配置检查项
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
扩展程序概述
DataWorks通过OpenEvent能力为您提供消息推送订阅能力，同时您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来卡点并响应...更多扩展点的触发应用示例可参见 应用示例：数据开发过程触发事件检查、应用示例：运维中心触发事件检查。
全景视角
数据生产视角：在数据开发场景下，建议您使用数据生产视角，关注查看数据开发过程中表、开发任务、数据服务、数据质量等方面的情况。详情请参见：数据生产视角。说明 您当前登录的账号需要拥有 AliyunDataWorksFullAccess 权限，才能使用 ...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据...同时要为在数据开发过程中的资源使用赋权，并做好数据安全隔离。关于MaxCompute数仓安全和权限配置详情，请参见 权限概述。
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
环境准备
说明 DataWorks的工作空间分为 简单模式 和 标准模式：简单模式：指一个DataWorks工作空间对应一个引擎项目，无法设置开发和生产环境，只能进行简单的数据开发，无法对数据开发流程以及表权限进行强控制。标准模式：指一个DataWorks工作...
通用开发流程
创建并使用MaxCompute资源 创建并使用自定义函数 创建和使用EMR资源 创建EMR函数 步骤七：编辑节点代码 根据节点类型，在节点编辑页面通过对应引擎与数据库语法编写业务代码。不同节点所使用的语法可能存在差异，具体请以实际使用为准。...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
数据开发概述
流程管控：任务在开发过程可结合数据开发（DataStudio）自带的 代码评审、冒烟测试 等功能，以及 数据治理中心 预设的检查项、开放平台 基于扩展程序实现自定义逻辑校验等功能，保障开发任务符合规范。说明 不同工作空间模式涉及的流程管控...
DataWorks OpenAPI概述
1级 UpdateIDEEventResult 用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。2级 GetIDEEventDetail 调用GetIDEEventDetail，根据DataWorks开放消息...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
表结构发布流程化
Schema_Design-dev Schema_Design-test Schema_Design-product 环境类型 dev test product 数据库名称 dev_database test_database product_database 步骤一：配置研发规则 默认的研发流程为：设计结构（Dev）、生产发布（Product）。...
UpdateIDEEventResult
用于在数据开发过程中触发扩展点时，通过调用UpdateIDEEventResult接口，将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
管理项目
数据管理DMS提供DevOps功能，您可以在项目空间内指定参与人员、数据库和迭代模板，合理有效地保障研发流程顺利开展，减少误操作，保护数据安全。新建项目 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据库开发>研发空间>DevOps。单击 ...
开发流程
开发流程简介 自定义逻辑流操作开发流程如下所示：步骤一、创建自定义逻辑流操作 登录 魔笔。创建自定义逻辑流操作。配置自定义逻辑流操作。详细操作请参见 创建并配置逻辑流操作。步骤二、开发自定义操作的执行代码 在逻辑流物料面板内...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
创建业务流程
您可以基于业务流程对应引擎分组下的数据开发节点来进行具体的数据清洗工作，例如MaxCompute引擎下的ODPS SQL节点，如果代码开发过程中需要用到资源或函数，DataWorks也支持您通过可视化的方式来创建资源节点、创建函数节点。说明 目前...
模块开发流程
本文介绍模块开发的基本流程。模块开发流程 模块开发主要包含创建模块和引用模块。创建模块 创建应用主模块：创建应用时同步创建的模块，系统自动命名为xxx-主模块，可在模块管理中修改。在应用内和模块内均可进行模型设计，详细操作请参见...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务...方式二：使用阿里云关系型数据库RDS（Relational Database Service）的两个不同数据库DataBase存储。
DataWorks On MaxCompute使用说明
同时，提供了任务开发与发布的流程管控，助力您规范开发操作，保障开发过程的安全性。一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据...
数据开发：开发者
说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...
创建Hologres数据源
后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：...
- 产品推荐
- 这些文档可能帮助您