新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
打开备份数据上云任务的数据库
该接口用于打开RDS SQL Server备份数据上云任务的数据库。接口说明 适用引擎 RDS SQL Server 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。本接口用于备份数据...
打开备份数据上云任务的数据库
该接口用于打开RDS SQL Server备份数据上云任务的数据库。接口说明 适用引擎 RDS SQL Server 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。本接口用于备份数据...
CreateGetDBListFromAgentTask-创建数据库列表任务
该接口用于通过备份网关获取数据库列表任务。接口说明 本 API 操作会返回 TaskId，您可以使用 GetDBListFromAgent 接口做结果查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
CreateDBExportTask-创建数据库导出任务
创建数据库导出任务。接口说明 说明 创建导出任务成功后，您可以调用 QueryDBExportTaskStatus 接口来查询导出任务状态，数据导出成功后，会返回一个地址供您下载导出后的文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算...
CreateDBImportTask-创建数据库导入任务
创建数据库导入任务。接口说明 创建导入任务成功后，将会返回任务 ID、上传文件的地址和鉴权信息。您需要在要求的时间内向给定的地址上传需要导入的文件。上传文件成功之后，您需要调用 QueryDBImportTaskStatus 接口来触发运行导入任务，...
StartDiscoverDatabaseTask-启动数据库扫描任务
启动数据库扫描任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
QueryDiscoverDatabase-查询数据库扫描任务进度
查询数据库扫描任务进度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
QueryPreCheckDatabase-查询数据库预检任务结果
查询数据库预检任务结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
QueryDBExportTaskStatus-查询数据库导出任务状态
查询数据库导出任务状态，若任务执行成功会同时返回文件下载链接，若失败会返回失败原因。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 ...
创建DTS任务迁移数据库实例
如果您在创建迁移计划时，迁移计划模板 选择了“AWS迁移”，您的服务器和数据库迁移任务将分别通过SMC工具和DTS工具完成。本文为您介绍如何创建DTS迁移数据库实例。建立DTS同步 在云迁移中心页面，依次点击 迁移->迁移工具，查看迁移工具...
Dataphin管道任务读取DB2数据库报错...
问题描述 Dataphin管道任务读取DB2数据库报错“com.ibm.db2.jcc.am.SqlException: DB2 SQL Error: SQLCODE=-952,SQLSTATE=57014,SQLERRMC=null,DRIVER=4.11.77”。问题原因 常见为整表查询时间超过了30分钟，客户端向服务端主动发送了取消...
【通知】部分DTS任务（以数据库网关DG接入的自建库为...
数据库网关将于北京时间2021年9月23日22点至24点重启其海外地域的服务端，于9月24日22点至24点重启其中国内地与中国香港地域的服务端，以升级数据库网关TLS证书，因此以数据库网关DG接入的自建库为源的DTS任务，将出现重试状态，预计分钟...
CreateUniRestorePlan-创建数据库防勒索还原计划任务
创建数据库防勒索恢复任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
Dataphin中管道任务中输入配置数据库切分键设置方法
概述 Dataphin中管道任务中输入配置数据库切分键设置方法。详细信息 管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。如果设置的切分键不是主键或者索引，会...
释放完成后的迁移任务是否会影响被迁移数据库的使用？
不会有影响。迁移任务完成数据库的迁移以后，您可以放心释放该迁移任务。
Dataphin同步任务从MySQL数据库读取数据报错...
问题描述 用户在同步过程中，报错...问题原因 字段中包含了数据库关键字，导致数据库不能识别出正确的字段。解决方案 1.使用脚本模式，配置字段时，添加“`”符号，标注关键字字段。2.使用表名.字段名的方式。适用于 Dataphin
Dataphin管道任务抽取rdbms类数据库数据，切分键使用...
但是去掉切分键后，再运行任务数据量一致 问题描述 客户管道任务抽取SqlServer数据时，查询来源表数据总数和管道任务同步的数据总数不一致。查询来源表数据总数：该任务运行成功，但任务读取写入数据总数如下：客户把切分键去掉数据量就...
Dataphin如何使用计算任务Python脚本链接MySQL数据库
问题描述 Dataphin如何使用计算任务Python脚本链接MySQL数据库？解决方案 Python脚本如下：#!usr/bin/env python#-*-coding:utf-8-*-#import mysql.connector def select_sql(sql):try:conn=mysql.connector.connect(host='xxx',user='xxx'...
Dataphin管道任务将逻辑表数据集成到业务数据库中时，...
概述 本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息 由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...
Dataphin自定义组件创建Hive自定义数据源，集成任务...
问题描述 本文主要描述了Dataphin自定义组件创建Hive自定义数据源，集成任务执行的时候报错连接数据库失败的解决方法。问题原因 数据源的链接地址格式不正确。解决方案 正确格式如下：jdbc:hive2:/{ip}:{port}/{db} 适用于 Dataphin v2.9.4...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
Dataphin管道任务配置页面可以显示表字段，数据库连接...
问题描述 Dataphin管道任务配置页面可以显示表字段，数据库连接测试也正常，但是执行该管道任务报错“ERROR DBUtil-get connection error com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure”。...
Dataphin中管道任务从SQL Server向ODPS同步数据报...
概述 描述了管道任务从SQL Server向ODPS同步数据，报错“连接数据库失败”的原因及解决方法。问题描述 SQL Server数据源测试连接成功，但是在管道任务中提示连接数据库失败。具体日志如下：问题原因 在Shell中telnet该数据源，发现该数据源...
Dataphin输出数据源为MySQL，为什么管道任务日志中...
概述 本文主要介绍输出数据源为MySQL，管道任务日志中写入条数远大于数据库中对表 count(1)数目的原因。详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 ...
Dataphin管道任务给PostgreSQL数据库写入数据，运行...
问题描述 Dataphin管道任务给PostgreSQL数据库写入数据，运行报错“errororg.postgresql.util.PSQLException:不支援 10 验证类型”。完整的报错信息如下：2023-01-05 08:39:00.235[job-2955746]INFO DlinkTransRunner-Dlink Writer.Job...
云数据库ClickHouse执行查询任务时提示“Memory limit...
问题描述 阿里云云数据库ClickHouse执行查询任务时，实例内存升高，提示类似以下错误：Memory limit(for query)exceeded Memory limit(for total)exceeded 问题原因 实例内存升高的原因如下：查询内存占用过多 实例总内存使用超限 解决方案...
Dataphin管道任务里SQL Server输入组件表清单下拉为空...
问题描述 Dataphin管道任务里SQL Server输入组件表清单下拉为空，但是在数据库工具相同账号可以正常连接加载。问题原因 数据源中配置JDBC URL关键字不正确。解决方案 按照标准格式为：jdbc:sqlserver:/地址:端口;databaseName=数据库名称 ...
Dataphin中通过元数据库查看任务节点ID、作业类型、...
概述 本文介绍现场运维同学如何通过元数据库查询Dataphin环境中任务的节点ID、作业类型、任务节点名、任务状态、调度周期、调度时间等详细信息；查询任务上下游节点任务的ID、名称等信息。详细信息 具体查询任务节点ID、作业类型、任务节点...
Dataphin中SQL脚本任务在元数据库存放位置
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
创建DMS逻辑库的数据订阅任务
DTS要求源数据库的本地Binlog日志保存24小时以上，否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。...
创建PolarDB PostgreSQL版数据订阅任务
其他限制 单个数据订阅任务只能订阅一个数据库，如需订阅多个数据库，您需要为每个数据库配置数据订阅任务。为保障订阅延迟时间展示的准确性，DTS会在源库中新增一个名为dts_postgres_heartbeat的心跳表。若您订阅的单行数据超过16MB，则不...
通过任务编排实现跨库数据同步
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的变更权限。如需申请权限，请参见 DMS访问控制权限概述。准备一个AnalyticDB MySQL数据仓库，用于数据加工，且您拥有该数据仓库的变更权限。如需申请...
创建PolarDB MySQL版数据订阅任务
DTS要求源数据库的本地Binlog日志保存24小时以上，否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。...
创建PolarDB PostgreSQL版（兼容Oracle）数据订阅任务
单个数据订阅任务只能订阅一个数据库，如需订阅多个数据库，您需要为每个数据库配置数据订阅任务。若您订阅的单行数据超过16MB，则不支持消费，否则可能会导致消费客户端内存OOM（Out of Memory）。请确认DTS对数据类型为FLOAT或DOUBLE的列...
创建PolarDB-X 2.0数据订阅任务
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
创建PolarDB-X 1.0数据订阅任务
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
源为PolarDB-X的任务配置方案
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
源为PolarDB-X的任务配置方案
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
- 产品推荐
- 这些文档可能帮助您