数据保护伞入门
当一列非空数据中，满足上述识别条件的数据大于指定阈值时，则命中该规则，会将该数据识别为当前类型的敏感数据。本文示例阈值配置为50%，即当某列数据中，满足上述条件的数据超过50%时，则将其识别为敏感数据。配置完成后，单击 发布使用...
配置数据识别规则
命中率配置 支持您自定义识别规则命中率，当一列数据中的非空数据，超过命中阈值的数据符合数据内容识别条件时，则认为命中该识别规则。命中率默认配置为50%，命中率计算公式为：100%*该列中命中识别规则的数据条数/该列数据的总条数。说明...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
公共规范
数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的。在物理上划分核心模型和扩展模型，将其字段进行垂直划分。将访问相关度较高的列在一个表存储，将访问相关度较低的字段...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过...当前位点 更新后，建议您使用数据校验功能，验证当前数据是否满足您的预期。更多信息，请参见 配置数据校验。
从Oracle迁移应用至阿里云PolarDB全流程指南
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
MMA概述
说明 校验⽅式：在Hive端和MaxCompute端对同⼀个表（或多个分区）执⾏ SELECT COUNT(*)命令，通过对⽐两端的⾏数验证数据是否迁移成功。通过OSS迁移Hive数据到MaxCompute。该场景会先将数据迁移到OSS,然后通过MaxCompute读取OSS数据。数据...
应用场景
敏感数据识别与打标 DSC 能从海量数据中发现和锁定保护对象，精准区分敏感数据与非敏感数据。通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
三节点企业系列的RDS MySQL迁移到集群系列的RDS MySQL
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 设置告警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和告警联系人。更多信息...
我是安全管理员
支持安全管理员用户的功能总览 类目 功能 说明 SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨...
从Amazon RDS SQL Server全量迁移至阿里云
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
我是DBA
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
我是管理员
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
管理迭代
空库初始化 将源库的表结构同步至空数据库中。说明 数据库只有同时符合以下条件才可以被选择：在迭代的可选数据库列表内。数据库环境类型符合迭代模板的定义。完成一个阶段的所有工单操作后，单击 推进到下一阶段，单击 确认，推进迭代到下...
登录数据库
相关操作 在您成功登录数据库后，可能需要进行如下操作：在SQL Console中，针对该数据库进行创建表、查询表数据、变更表数据等操作。具体操作，请参见 SQL Console初体验。导出数据库中已有的数据。具体操作，请参见 数据库导出。创建数据...
DataHub成本节省攻略
主要费用对比 为了验证batch所带来的实际效果，我们拿一些数据进行了对比测试 测试数据为广告投放相关的数据，大约200列，数据中null比例大约20%~30%1000条数据一个batch batch内部的序列化使用的是avro lz4是之前版本默认的压缩算法，压缩...
功能特性
结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行...
RestAPI（HTTP形式）数据源
答：当后面页数数据为空时，相当于SQL查到空数据，系统将会继续查询下一条数据。只支持解析一层JSON据吗？答：是的，不会进行深入解析。附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
调试实时任务
调试方式说明 本地调试方式：即不通过集群进行调试，调试的数据非流式数据。该方式调试速度较快，但操作较为繁琐，需要手动上传或填写数据，仅支持特定的数据源进行自动采样。Session集群调试方式：即通过Session集群进行调试，调试的数据...
数据归档
业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面的DDL语句实现数据在ESSD和OSS之间的转换。通过数据...
DataCheckConfigure参数说明
fullCheckReferEndpoint String 全量数据校验的基准，取值为：all：以源库和目标库数据的合集为基准，校验源库和目标库不一致的数据。src：以源库为基准，校验目标库与源库数据的一致性（不校验目标库比源库多的数据）。dest：以目标库为...
周期任务补数据
当前任务计算逻辑变更，您可以先对当前任务进行补数据验证计算逻辑正确性，再对下游任务进行数据回刷。补当前及下游任务：即当前任务及下游任务，适用于对全链路数据进行刷新的场景。补数据操作入口 在Dataphin首页，单击顶部菜单栏的 研发...
周期任务补数据
当前任务计算逻辑变更，您可以先对当前任务进行补数据验证计算逻辑正确性，再对下游任务进行数据回刷。补当前及下游任务：即当前任务及下游任务，适用于对全链路数据进行刷新的场景。补数据操作入口 在Dataphin首页，单击顶部菜单栏的 研发...
快速配置SSL加密
步骤二：下载CA证书 开启云端证书后，RDS PostgreSQL数据库提供数据库CA证书供您下载，当您通过客户端远程连接RDS PostgreSQL数据库时，使用数据库CA证书可以对数据库真伪进行校验。切换证书来源为 使用云端证书，单击 下载CA证书。解压...
使用SSMS迁移上云
查询数据库的数据行数（返回所有业务表数据的总和）重要 请确保数据迁移过程中，源表和快照数据无变更，否则可能会导致数据行数不一致。use;SELECT SUM(b.rows)AS 'RowCount' FROM sysobjects AS a INNER JOIN sysindexes AS b ON a.id=b....
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
从RDS同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 请参见 规范建模入口，进入规范建模页面。按照下图操作指引，进入 ...
新建事实逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务活动对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建事实逻辑表 在Dataphin首页，单击顶部菜单栏 研发，默认进入数据开发页面。按照...
新建普通维度逻辑表
若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 在Dataphin首页，单击顶部菜单栏的 研发。默认进入 开发 页面。按照...
- 产品推荐
- 这些文档可能帮助您