数据去重
本文介绍数据去重算子的使用方法和注意事项。用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
HLL近似去重
本文介绍 云数据库SelectDB 提供的HyperLogLog（简称 HLL）功能，帮助您进行数据去重，加速查询。概述 在实际的业务场景中，随着业务数据量的不断增加，数据去重的压力也随之增大。当数据规模达到一定程度时，采用精准去重的成本也随之增加...
BITMAP精准去重
本文介绍 云数据库 SelectDB 版 提供的Bitmap去重功能，帮助您进行数据去重，加速查询。概述 云数据库 SelectDB 版 支持Bitmap类型，在Aggregate数据模型中，Bitmap类型的Value字段可以和集合的交并集聚合函数配合，实现数据的精确去重功能...
PyODPS的去重
本文为您介绍如何进行PyODPS的去重。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据。下载 鸢尾花 ...
从自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle...
PolarDB是阿里云自研的下一代关系型云数据库，有三个独立的引擎，分别可以100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle语法，适用于企业多样化的数据库应用场景。通过使用数据传输服务DTS（Data Transmission Service），您可以将自...
常用案例
说明 本案例实现的是数组去重，您可以通过传指定字段返回去重数据，如示例数据根据 y 字段去重，uniq(data,['y'])，返回数据为[{"x":"服饰","y":800 },{"x":"食品","y":779 },{"x":"建材","y":180 }，{"x":"服饰","y":192 }]，y 字段值相同...
ODS层设计规范
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。数据质量规范 每个ODS全量表必须配置唯一性字段标识。每个ODS全量表必须有注释。每个ODS全量表必须监控分区空数据。仅有监控要求的ODS表才需要创建数据...
设计阶段
企业应根据自身实际情况来进行设置，也可以参考如下数值：数仓分层 说明 ODS层 非去重数据：默认不保留。ETL临时表：保留14日。镜像全量表：重要数据建议采用极限存储。流水全量表：如果不可再生，则永久保存。DWD层 维度表：按日分区的...
表引擎
在没有彻底optimize之前，可能无法达到主键去重的效果，比如部分数据已经被去重，而另外一部分数据仍旧有主键重复。optimize是后台动作，无法预测具体执行时间点。手动执行optimize在海量数据场景下需要消耗大量时间，无法满足业务即时查询...
任务编排
应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、数据备份、数据分析、数据挖掘等需求，可帮助企业实现数据管理的自动化和标准化，提高数据管理的效率与质量。DTS数据迁移节点可用于跨库、单个表或...
增加或删除已运行任务的同步表
如果勾选 支持源表无主键同步，那么源表没有主键，您需要单击 图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。④ 包括 使用已有Topic 和 自动建Topic。⑤ 选择的 Topic建立方式，取值...
配置MaxCompute输出
背景信息 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有重复数据写入。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作空间后的 ...
冷热分离
该属性的含义是优先查询热存储中的数据,若热存储中的数据查完了，用户仍然在调用next获取下一条数据，则会开始查询冷数据。Shell hbase(main):002:0>scan 'chsTable',{COLD_HOT_MERGE=>true} Java scan=new Scan();scan.setAttribute...
深度解析Lindorm搜索索引（SearchIndex）特性
按照某个字段进行聚类统计，求取sum/max/min/avg等，或者返回去重后的结果集。模糊查询。查询以'阿里'开头的数据，可以匹配出'阿里云'的结果集，类似MySQL的like语法。诸如此类对海量数据低成本存储和检索多样化的需求，成为越来越多业务的...
DataFrame概述
排序、去重、采样、数据变换：本文为您介绍DataFrame对象执行排序、去重、采样、数据变换操作。数据合并：本文向您介绍DataFrame支持的数据表的JOIN操作、UNION操作等数据合并操作。窗口函数：本文为您介绍DataFrame API支持使用窗口函数。...
ADAM概览
同时针对数据冗余、信息安全问题，对采集结果中的SQL数据进行脱敏、去重、一致性校验等处理，保证采集结果的准确性。更多信息，请参见 数据库采集。应用采集器：收集、分析Oracle、Db2和Teradarta的Java应用框架与运行信息，包含应用机器...
数据加工过程卡点校验
任务变更或数据重跑。在进行更新操作前，需要通知下游变更原因、变更逻辑、变更时间等信息。下游对此次变更没有异议后，再按照约定时间执行发布变更，这样可以将变更对下游的影响降到最低。icmsDocProps={'productMethod':'created','...
从RDS同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从自建MySQL同步至阿里云消息队列Kafka版
不支持自动调整同步对象，如果对同步对象中的数据表进行重命名操作，且重命名后的名称不在同步对象中，那么这部分数据将不再同步到目标Kafka集群中。如需将修改后的数据表继续数据同步至目标Kafka集群中，您需要进行 修改同步对象 操作，...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
从PolarDB MySQL版同步至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 同步至RDS MySQL，实现增量数据的实时同步。前提条件 已购买 PolarDB MySQL版 集群，详情请参见 创建PolarDB MySQL集群。PolarDB MySQL版 集群已开启...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
从RDS MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
PolarDB-X间的数据实时同步
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
从自建Redis迁移至阿里云Redis
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
不同阿里云账号下RDS实例间的数据同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从ECS上的自建Redis同步至Tair实例
数据传输服务DTS（Data Transmission Service）支持从ECS上的自建Redis同步至 云原生内存数据库Tair。警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的架构类型，否则会导致数据同步失败。前提条件 已创建源自建Redis实例和...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从RDS MySQL同步至PolarDB-X
介绍云原生分布式数据库 PolarDB-X（简称PolarDB-X）是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期...
- 产品推荐
- 这些文档可能帮助您