质量规则模板类型
字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...
质量规则模板类型
字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
使用示例
写入数据 本段介绍如何使用 SDK 写入数据。操作前提是您已创建出 TSDB 对象。Point 类为 TSDB 的时间点类。您可以使用 TSDB 对象的 put 方法将 Point 数据写入 TSDB 数据库。示例代码 每秒写入一个 Point（时间点）数据：package ...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
从自建PostgreSQL（10.1~13版本）增量迁移至RDS ...
迁移限制 一个数据迁移任务只能对一个数据库进行数据迁移，如果有多个数据库需要迁移，则需要为每个数据库创建数据迁移任务。待迁移的数据库名称中间不能包含短划线（-），例如dts-testdata。如果迁移过程中源库发生了主备切换，DTS的增量...
查看表资产详情
数据质量 单击 数据质量>质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
查看表资产详情
数据质量 单击 数据质量>质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
数据表管理
功能介绍 调整拆分键 拆分键即分库或分表的数据表字段，用于生成拆分规则。PolarDB-X 1.0 支持在控制台上对拆分键进行调整。在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的MySQL...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
PolarDB MySQL版集群间的数据迁移
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从PolarDB PostgreSQL版迁移至自建Oracle
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB PostgreSQL版 迁移至自建Oracle数据库，可用于数据回流测试、业务功能测试等场景。前提条件 PolarDB PostgreSQL版 集群中，待迁移的表需具备主键或非空唯一索引。自建...
从PolarDB MySQL版迁移至RDS MySQL
阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 ...
从RDS MySQL迁移至PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从PolarDB MySQL版迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至自建MySQL数据库，可用于数据分析、业务功能测试等场景。前提条件 为满足增量数据迁移的要求，源 PolarDB MySQL版 集群需开启Binlog，详情请参见 如何...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
从自建MySQL迁移至PolarDB MySQL版
说明 如果您的自建MySQL数据库具有白名单安全设置，您需要在 实例地区 配置项后，单击 获取DTS IP段 来获取到DTS服务器的IP地址，并将获取到的IP地址加入自建MySQL数据库的白名单安全设置中。数据库类型 选择 MySQL 主机名或IP地址 填入自...
从RDS MySQL迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL迁移至自建MySQL数据库，适用于数据分析、业务功能测试等场景。前提条件 RDS MySQL中的待迁移的表需具备主键或者唯一性非空索引。自建MySQL数据库的存储空间须大于RDS...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
区间柱形图
y 柱图中每个柱子数据区间段的值，即y轴的值。s（可选）数据系列值。配置项 说明 受控模式 打开开关，组件初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；关闭开关，可以使用自动更新请求数据。开关默认为关闭...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
RDS实例间的数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
RDS实例间数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
区间柱形图
y 柱图中每个柱子数据区间段的值，即y轴的值。s（可选）数据系列值。表 1.配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；关闭开关，可以使用自动更新请求数据...
跨阿里云账号迁移PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS...同一个工单的周期归档会根据归档的时间生成不同时间段的数据归档，所以可以通过创建数据归档的时间，判断并查询目标时间段的数据归档。
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
添加及管理识别结果
区域③ 为您展示 数据表、表字段、数据分类、数据分级、生效状态 信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则：可...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
功能特性
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
CREATE DATABASE
CREATE DATABASE语法用于在Lindorm实例中创建数据库，并设置数据库属性，例如数据有效期TTL，方便您统一归档数据。引擎与版本 CREATE DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持CREATE DATABASE语法。时序引擎...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
从腾讯云MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
- 产品推荐
- 这些文档可能帮助您