质量规则模板类型

字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...

质量规则模板类型

字段分组个数校验 用于对单字段数据进行去重值校验。字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较...

基本概念

对于异构数据库之间的结构迁移,DTS会将源库的结构定义转换为目标库支持的结构定义,例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段,DTS会将源数据库的存量数据全部迁移到...

使用示例

写入数据介绍如何使用 SDK 写入数据。操作前提是您已创建出 TSDB 对象。Point 类为 TSDB 的时间点类。您可以使用 TSDB 对象的 put 方法将 Point 数据写入 TSDB 数据库。示例代码 每秒写入一个 Point(时间点)数据:package ...

需求分析

MySQL用户信息数据结构(ods_user_info_d)字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分 zodiac 星座 步骤二:分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。...

需求分析

MySQL用户信息数据结构(ods_user_info_d)字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分 zodiac 星座 步骤二:分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。...

颜色映射

函数:不同的分函数可以对数据进行分析,具体请参见 分函数。预设模式:不同的预设模式可以对数据进行分析,具体请参见 预设模式。颜色映射分类 颜色映射类型分为三大类:名词分类 型、数值连续 型和 数值分区 型。类型 说明 名词...

产品架构

数据源地址动态适配 对于数据订阅及同步链路,容灾系统还会监测数据源的连接地址切换等变更操作,一旦发现数据源发生连接地址变更,它会动态适配数据源新的连接方式,在数据源变更的情况下,保证链路的稳定性。数据迁移工作原理 数据迁移...

同阿里云主账号访问

在进行数据同步前,您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...

从自建PostgreSQL(10.1~13版本)增量迁移至RDS ...

您只需添加目标数据库所在区域对应的DTS IP地址,详情请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。说明 关于该配置文件的设置请参见 pg_hba.conf文件。如果您已将信任地址配置为 0.0.0.0/0(如下图所示),可跳过本步骤。可选...

查看表资产详情

数据质量 单击 数据质量>质量报告,展示数据表字个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明,查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看,通过评分趋势图了解该...

查看表资产详情

数据质量 单击 数据质量>质量报告,展示数据表字个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明,查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看,通过评分趋势图了解该...

数据表管理

功能介绍 调整拆分键 拆分键即分库或分表的数据表字,用于生成拆分规则。PolarDB-X 1.0 支持在控制台上对拆分键进行调整。在 PolarDB-X 1.0 中,一张逻辑表的拆分方式由拆分函数(包括分片数目与路由算法)与拆分键(包括拆分键的MySQL...

准备数据

数据准备阶段,您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例,获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...

管理识别结果

表字段选择不超过100个,区域③ 为您展示 数据表、表字数据分类、数据分级、生效状态 信息,您可以对数据表、表字数据分类、生效状态进行修改,同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。...

PolarDB MySQL版集群间的数据迁移

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从PolarDB PostgreSQL版迁移至自建Oracle

通过数据传输服务DTS(Data Transmission Service),您可以将 PolarDB PostgreSQL版 迁移至自建Oracle数据库,可用于数据回流测试、业务功能测试等场景。前提条件 PolarDB PostgreSQL版 集群中,待迁移的表需具备主键或非空唯一索引。自建...

从PolarDB MySQL版迁移至RDS MySQL

阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案。通过数据传输服务DTS(Data Transmission Service),您可以将 PolarDB MySQL版 ...

修改同步或迁移实例的当前位点

数据传输服务DTS(Data Transmission Service)支持修改同步或迁移实例增量写入模块的当前位点,帮助您在目标库写入数据时,跳过或再执行一次源库某时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳,DTS...

从RDS MySQL迁移至PolarDB MySQL版

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从PolarDB MySQL版迁移至自建MySQL

通过数据传输服务DTS(Data Transmission Service),您可以将 PolarDB MySQL版 迁移至自建MySQL数据库,可用于数据分析、业务功能测试等场景。前提条件 为满足增量数据迁移的要求,源 PolarDB MySQL版 集群需开启Binlog,详情请参见 如何...

从自建MySQL迁移至PolarDB MySQL版

说明 如果您的自建MySQL数据库具有白名单安全设置,您需要在 实例地区 配置项后,单击 获取DTS IP 来获取到DTS服务器的IP地址,并将获取到的IP地址加入自建MySQL数据库的白名单安全设置中。数据库类型 选择 MySQL 主机名或IP地址 填入自...

从RDS MySQL迁移至自建MySQL

通过数据传输服务DTS(Data Transmission Service),您可以将RDS MySQL迁移至自建MySQL数据库,适用于数据分析、业务功能测试等场景。前提条件 RDS MySQL中的待迁移的表需具备主键或者唯一性非空索引。自建MySQL数据库的存储空间须大于RDS...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

区间柱形图

y 柱图中每个柱子数据区间的值,即y轴的值。s(可选)数据系列值。配置项 说明 受控模式 打开开关,组件初始化状态下不请求数据,仅通过回调ID或蓝图编辑器配置的方法发起请求数据;关闭开关,可以使用自动更新请求数据。开关默认为关闭...

区间柱形图

y 柱图中每个柱子数据区间的值,即y轴的值。s(可选)数据系列值。表 1.配置项说明 配置项 说明 受控模式 打开开关,资产 初始化状态下不请求数据,仅通过回调ID或蓝图编辑器配置的方法发起请求数据;关闭开关,可以使用自动更新请求数据...

跨阿里云账号迁移PolarDB MySQL版

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

RDS实例间的数据迁移

本文介绍如何使用数据传输服务(Data Transmission Service,简称DTS),实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成数据库的迁移。...

RDS实例间数据迁移

本文介绍如何使用数据传输服务(Data Transmission Service,简称DTS),实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成数据库的迁移。...

从自建TiDB增量迁移至RDS MySQL

本文介绍如何使用数据传输服务DTS(Data Transmission Service),结合Kafka集群与TiDB数据库的Pump、Drainer组件,完成增量数据迁移,实现在应用不停服的情况下,平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前,您可先将自建TiDB...

从RDS SQL Server同步至云原生数据仓库AnalyticDB ...

数据传输服务DTS(Data Transmission Service)支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL,帮助您轻松实现数据的流转,集中分析企业数据。前提条件 快速创建RDS SQL Server实例,支持的版本,请参见 同步方案概览。重要 ...

从RDS SQL Server同步至云原生数据仓库AnalyticDB ...

数据传输服务DTS(Data Transmission Service)支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL,帮助您轻松实现数据的流转,集中分析企业数据。前提条件 快速创建RDS SQL Server实例,支持的版本,请参见 同步方案概览。重要 ...

管理明细及汇总表任务字段

进行单字数据时,需要配置以下参数。实例名称:由Dataphin系统自动生成,生成格式 自定义(逻辑表名称)_字段英文名_逻辑表模型ID_运行日期_时间戳。支持更改生成格式的 自定义 部分。业务日期:配置单字段补数据的业务日期区间。并发...

查询用户OSS或专属存储的归档数据

本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS...同一个工单的周期归档会根据归档的时间生成不同时间数据归档,所以可以通过创建数据归档的时间,判断并查询目标时间数据归档。

从ECS上的自建SQL Server同步至云原生数据仓库...

数据传输服务DTS(Data Transmission Service)支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL,实现增量数据的实时同步。前提条件 自建SQL Server数据库版本为2008、2008 R2、2012、2014、2016、2017或2019版本。说明 ...

添加及管理识别结果

区域③ 为您展示 数据表、表字数据分类、数据分级、生效状态 信息,您可以对数据表、表字数据分类、生效状态进行修改,同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。在此表下继续配置字段识别规则:可...

查看数据迁移项目的详情

启动数据迁移项目后,您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面,查看计划的迁移环节、各个环节的进度和状态,帮助您了解数据库迁移的整体进度,...

数据归档至专属存储

同一个工单的周期归档会根据归档的时间生成不同时间的归档数据,所以可以通过创建数据归档的时间,判断并查询指定时间的归档数据。Q:如何查询某张表周期性归档的所有数据、查询同一张表跨工单归档的所有数据?A:进入逻辑数仓功能页面...

功能特性

一键诊断 诊断报告 对指定时间数据库实例运行状况发起诊断并输出报告,从慢日志、表空间、性能趋势等多方面评估数据库实例的健康状况,快速定位实例的异常情况。诊断报告 SQL自治 会话管理 实时查看目标数据库实例的会话信息,并提供...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用