迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
时序引擎版本说明
功能优化 修复表反复删除可能会出现数据漏删除的问题。修复写入整数到两个列失败的问题。修复嵌套子查询单列降采样时报错的问题。3.4.6 2022年01月11日 新特性 InfluxDB行协议支持指定Schema策略，支持按需创建Schema。TSQL DATABASE/TABLE...
2023年
修复实例分时扩容表RENAME后会出现数据未重新分布的问题。修复创建带有GROUP BY和UNIONALL的实时物化视图场景下，执行INSERT时出现Coredump的问题。修复DROP TABLE报错 cache lookup failed for extension 18713194 的问题。修复向量...
查询结果不符合预期的常见原因
链路等问题导致数据写入后立刻被删除 在一些大数据链路中，如果写入和删除发生在的不同的程序或进程中，则可能会出现数据写入后被立刻删除的情况，需要进行排查。此外，如果您是使用阿里云实时计算Flink并采用Flink SQL方式访问Lindorm宽表...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
OceanBase 数据库之间的数据迁移
仅适用于 OceanBase 数据库 Oracle 租户的注意事项：如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_MOVEMENT 为 enable 的表，会出现数据不一致的情况。支持的源端和目标端实例类型 下表中，OceanBase ...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
计费方式
运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用 公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...
等待资源
为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会出现等待资源？问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
实时同步字段格式
当操作类型为UPDATE时，数据集成会将其拆分为两条记录。一条是更新前记录，一条是更新后记录。这两条增量数据的_sequence_id_、_operation_type_及_execute_time_对应的值一致。第一条增量数据是更新前的值，所以_before_image_取值为Y，_...
添加白名单
如果您用独享数据集成资源组同步同阿里云账号，同Region下的VPC环境数据库，您购买添加独享数据集成资源组后，还需完成网络配置和工作空间绑定，操作详情可参见 新增和使用独享数据集成资源组。如果您已完成网络连通配置，但资源组仍然无法...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
HDFS数据源
例如您配置 nullFormat:"null"，如果源头数据是null，数据集成会将其视作null字段。说明 字符串的null（n、u、l、l四个字符）和实际的null不同。否 无 compress 当fileType（文件类型）为csv下的文件压缩方式，目前仅支持gzip、bz2、zip、...
OSS-HDFS数据源
例如您配置 nullFormat:"null"，如果源头数据是null，数据集成会将其视作null字段。否 无 compress 目前仅支持gzip、bzip2和snappy压缩。否 无 Writer脚本Demo {"type":"job","version":"2.0",/版本号。steps":[{"stepType":"stream",...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
查看历史任务
数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据...
导入与导出
通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=ServiceUnavailable,ErrorMessage=Service is temporarily unavailable,Please try again later报错？通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=Local Error,...
离线同步日志分析
running in Pipeline[basecommon_group_xxxxxxxxx]任务运行在独享数据集成资源上，日志中会出现如下信息。running in Pipeline[basecommon_S_res_group_xxx]任务运行在数据集成自定义资源组上，日志中会出现如下信息。running in Pipeline...
离线同步读取MongoDB数据
DataWorks的数据集成为您提供MongoDB Reader插件，可从MongoDB中读取数据，并将数据同步至其他数据源。本文以一个具体的示例，为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB，去向...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
采集数据
新增和使用独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。需确保至少一个资源组为 可连通 状态，否则此数据源无法使用向导模式创建同步任务。数据同步时，一个任务只能使用一种资源组。您需要测试每个资源组的连通性，以...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
慢日志分析
常见问题 Q：对于 RDS MySQL 和 PolarDB MySQL版 数据库实例，为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
常见问题概览
无集团上云商品标签的客户，在购买集团内部按量付费商品时为什么会出现如下错误提示？登录数据库 如何正确的填写登录DMS的数据库账号与密码？在DMS登录数据库失败，提示“access denied”，如何处理？SSL证书过期该怎么处理？在DMS录入阿里...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
可能出现数据一致性问题。由于 UPDATE 和 DELETE 操作在 RDS PostgreSQL 中不支持 LIMIT 语法，当全列匹配时匹配到多条数据，可能会出现 UPDATE 或 DELETE 数据比目标端多的情况。例如，无主键表 t1 中存在 c1 和 c2 两列，在源端有两条 c1...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
近实时增量导入
涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据集成以及其它数据导入工具，...
公共数据集成（调试）资源组：按量计费
背景信息 所有阿里云DataWorks用户共享使用公共数据集成（调试）资源组资源，使用高峰期可能会出现不同用户间抢占资源的情况，无法保证任务及时调度执行。您可以直接使用独享数据集成资源组，保障任务的运行，独享数据集成资源组的介绍可...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
MySQL分库分表同步至MaxCompute
编辑目标表结构 单击 MaxCompute表名，可以预览MaxCompute表结构，在创建MaxCompute表时，数据集成会给MaxCompute自动加上一列_src_info_用于标识这行数据来自哪个子表。src_info_配合源表主键，也可以用于唯一定位一行数据。说明 目前自动...
- 产品推荐
- 这些文档可能帮助您