常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
计费逻辑说明
资源费用明细：智能监控 数据服务 数据服务支持基于数据源封装API，或将已有API添加至平台，通过该方式对外提供服务。DataWorks将根据数据服务调用量计费，您可选择包年包月的独享数据服务资源组，或按量付费的公共数据服务资源组进行API...
功能发布记录 2022年之前
您可以购买该功能模块，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为数据价值化提供有力支撑。2021.02.20 全部地域。DATABLAU数据建模计费标准 ...
功能发布记录（2024年）
DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持面向StarRocks数据源快速封装数据API，实现...
数据服务API
数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 ...
数据膨胀诊断
消除数据膨胀 随着对表不断进行INSERT、DELETE或UPDATE操作，会积累大量Dead Tuple，占据大部分本可以用来存放数据的空间，使得Page中未使用空间减小，导致更多的Page被分配出来。当Page被扫描时，这些大量的Dead Tuple也会被扫描，从而...
PL 编译和调试
使用 PL 可以编写具有高级功能的程序，能够将业务逻辑封装在数据库内部，提供更好的抽象性和安全性，同时减少了网络的交互，调用速度更快，从而提升整体性能。PL 程序的开发工作是数据库服务开发人员重要的日常工作，与 SQL 语句的支持模块...
独享数据服务资源组
为保证用户创建并封装在数据服务中的API在被外部应用调用时，能达到高QPS以及满足可用性保障，企业需要使用独享数据服务资源以确保调用的高效和可靠。独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
基本概念
栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
加密函数
附加身份验证数据AAD，可以用来验证数据的真实性和完整性，数据在加密时用了ADD，解密时就需要输入ADD。返回值说明 返回BINARY类型的明文，若有需要您可以自行通过CAST将BINARY类型转换为STRING类型。示例 以下示例以 SYM_ENCRYPT 中加密后...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
客户案例
业务挑战 开发效率：报表平台承载了阿里巴巴商业平台上品类繁多的广告数据的汇总和对广告主的展示，不同业务线有不同的报表诉求，即使在相同的业务线下，基于不同的营销场景，也会有不同维度的数据抽象和封装。但在报表开发的演进过程中，...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
简介
空间/时空数据（Spatial/Spatio-temproal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、...
新建数据服务API-向导模式
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，可减少资源操作成本。本文介绍如何通过向导模式新建API。对原始数据层表“ys_xyk_bkxx”封装API 前提条件 工作组管理员账号登录。已创建“信息...
ENHANCED_SYM_DECRYPT
背景与前提 MaxCompute支持使用 ENHANCED_SYM_DECRYPT 函数指定生成的基础密钥集或封装密钥集对数据进行解密，解密使用的基础密钥集或封装密钥集需与加密时使用的一致。封装密钥集是通过KMS密钥对生成的密钥集（KEYSET）再次进行加密，结合...
NEW_WRAPPED_KEYSET
封装密钥集需要您在生成后自行记录保存，使用封装密钥集对数据加解密，需要结合KMS密钥进行，此过程所有密钥由系统自动生成，不可查看原始用于数据加解密的密钥，可以更加安全地实现数据加解密。NEW_WRAPPED_KEYSET 函数将有权使用KMS用户...
2023年
事务管理 2023-06-26 新增TimeTravel 新说明 基于Transactional Table 2.0，计算引擎可高效支持 TimeTravel查询 的典型业务场景，即查询历史版本的数据，可用于回溯历史状态的业务数据，或数据出错时，用来恢复历史状态数据进行数据纠正，...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
创建同步任务
说明 创建数据源，数据源可以用来作为数据同步的来源或者去向，LTS支持的数据源请参见“数据源管理”。创建HBase数据迁移任务，详情请参见 HBase不停机迁移。创建数据导入任务，详情请参见 HBase数据导入。创建数据导出任务，详情请参见 ...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为 专业版 及以上版本功能，如果您需要使用此功能...
区块概述
区块可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。说明 区块功能为专业版及以上版本功能，如果您需要使用此功能，...
从这里开始
区块：区块是基于基础组件封装的一个黑盒工具，可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。资源管理 设计资源：...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
从这里开始
我的区块：区块是基于基础组件封装的一个黑盒工具，可以定义内部外部的数据传输，对内可以封装业务相关的组件样式、组件布局、默认数据（不包含除静态数据和API外的数据源）和蓝图逻辑，对外可定义业务相关的区块数据接口。设计资产：设计...
- 产品推荐
- 这些文档可能帮助您