将自建ClickHouse数据迁移到云ClickHouse中

步骤一:元数据(建表的DDL)的迁移。通过remote函数进行数据迁移。自建实例部署在阿里云ECS中,且该ECS与云数据库ClickHouse为不同VPC。首先需要将两个VPC网络连通,详细操作请参见 跨VPC互联解决方案概述。步骤一:元数据(建表的DDL)的...

数据格式说明

},"recordType":"INSERT/UPDATE/DELETE/HEARTBEAT/DDL"/变更类型 } DDL 的 Record 中,仅存在"ddl"为列名的键,值为 DDL 语句。前镜像和后镜像:prevStruct:表示增量数据的前镜像信息,即 SQL 执行前的数据。postStruct:表示增量数据的后...

从自建PostgreSQL(10.0及以下版本)增量迁移至RDS ...

如需增量迁移DDL,您需在配置迁移任务前,在源库中创建触发器和函数来捕获DDL信息,请参见 通过触发器和函数实现PostgreSQL的DDL增量迁移。说明 自建PostgreSQL的账号需具备superuser权限。仅2020年10月1日后创建的数据迁移任务,才支持...

Trigger不支持非DML事件

示例 在Oracle中:create or replace trigger apps_no_ddl before create or alter or drop or truncate on database begin raise_application_error(-20001,'不允许用DDL操作APPS用户的对象');end;在PolarDB中:CREATE OR REPLACE ...

CANCEL DDL

CANCEL DDL 命令可用于取消状态为RUNNING或PAUSED的DDL任务。取消之后,当前DDL任务已发生的变更将会回滚,数据表将恢复到DDL任务执行之前的状态。语法 CANCEL DDL JOB_ID;说明 JOB_ID可通过 SHOW DDL 命令获取。示例 CANCEL DDL ...

概述

PolarDB-X 1.0 在V5.3.12及以上的实例版本中引入了新的DDL执行引擎,开始支持DDL的任务管理,包括DDL执行过程中的任务状态查看、失败DDL任务的恢复和回滚等。DDL任务管理中的主要概念 了解以下概念,将帮助您更好地使用DDL任务管理功能:...

Instant DDL和Parallel DDL

更多关于Instant DDL和Parallel DDL的文字说明,请参见如下文档:Instant DDL Parallel DDL

SHOW DDL RESULT

可以通过 SHOW DDL RESULT 命令查看近期执行过的DDL任务的结果。语法 SHOW DDL RESULT;示例 SHOW DDL RESULT\G;1.row*JOB_ID:1359590227445809152 SCHEMA_NAME:test OBJECT_NAME:test_table DDL_TYPE:CREATE_TABLE RESULT_TYPE:SUCCESS ...

SHOW DDL

一条DDL语句会以一个DDL任务方式在 PolarDB-X 内部执行,使用 SHOW DDL 命令可以查看当前 PolarDB-X 实例中的DDL任务。语法 SHOW[FULL]DDL;示例 SHOW DDL\G;1.row*JOB_ID:1359947811109470208 OBJECT_SCHEMA:d1 OBJECT_NAME:t2 ENGINE:DAG ...

控制参数与行为

禁用该参数后,PolarDB-X 1.0 将使用5.3.12版本之前的DDL执行引擎,PURE_ASYNC_DDL_MODE 和 MAX_TABLE_PARTITIONS_PER_DB 参数将不会生效。建议您 提交工单 咨询技术支持后,再决定是否禁用该参数。用法 数据库级别:通过 PolarDB-X 1.0 ...

注意事项与使用限制

注意事项 DDL正常执行成功时,无需关注DDL任务的状态,已成功完成执行的DDL任务会被自动清理。建议DDL执行成功后,立即执行CHECK TABLE检查逻辑表的一致性。通过DDL任务管理语句恢复、回滚或删除DDL任务后,建议执行CHECK TABLE检查逻辑表...

非阻塞DDL

PolarDB 新增非阻塞DDL(Nonblock DDL)功能。Nonblock DDL规避了执行DDL过程中MDL锁长时间获取不成功导致的连接堆积和阻塞,有效地解决了DDL导致的锁表问题。背景信息 用户在执行DDL操作的时候,若...同时,能够提供更高效的DDL变更能力。

自定义配置 DDL/DML

本文为您介绍配置数据迁移或数据同步项目时,如何自定义配置增量同步中 DDL 和 DML 同步。背景信息 您在配置数据迁移或数据同步项目时,如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步,则会默认支持 DML 同步,您可以自定义...

DDL脚本

您可以在DDL脚本预览界面可以将生成的DDL导出为.sql文件,也可以在该界面进行查找和替换操作。变更语句 在 DDL脚本编辑器 页面,您可以单击 变更语句(Alter),选择模型分支和版本号,然后单击 产生脚本,产生基于当前分支或版本的变更SQL...

DDL物理复制优化

使用限制 目前并行DDL物理复制优化仅支持创建主键或二级索引(不包括全文索引和空间索引)的DDL操作。对于只需修改元数据的DDL操作(如rename),因其本身执行速度已经很快,无需使用该优化功能。不支持在 PolarDB MySQL版 8.0.2版本和5.6...

如何正确处理DDL异常

PolarDB-X 的DDL处理框架拥有一定的容错能力,会保证DDL的正确性和一致性。但在特殊情况下,需要手动处理DDL异常。处理步骤 下面以创建全局唯一二级索引为例,介绍处理DDL异常的步骤。创建全局唯一二级索引时,会校验列中数据的全局唯一性...

DDL预读

数据库中大表的DDL操作通常非常耗时,您可以通过DDL预读功能缩短执行DDL操作的时间。前提条件 PolarDB 集群版本需满足如下条件之一:PolarDB MySQL版 8.0版本且修订版本为8.0.1.1.28及以上。PolarDB MySQL版 5.7版本且修订版本为5.7.1.0.22...

变更表类型及分区策略(AUTO模式)

常见问题 Q:为什么有时分区变更的DDL任务会执行失败?此时该如何处理?A:实例崩溃或唯一索引存在冲突等因素会导致分区变更的DDL任务执行失败。但这不会损坏原表任何数据,也不会阻塞正常的DML和查询语句执行。当分区变更的DDL任务执行...

RDS MySQL实例间的迁移

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

执行增量 DDL 评估

背景信息 迁移评估支持增量 DDL 评估功能,用于对一系列连续 DDL 在 OceanBase 数据库中的语法兼容性进行评估。执行增量 DDL 评估和执行在线评估、离线评估的区别如下:执行在线评估和离线评估时,每个 DDL 之间是相互独立的。执行增量 ...

PolarDB MySQL版同步至RDS MySQL

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

PolarDB MySQL版同步至RDS MySQL

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

抢占式DDL

Preemptive DDL解决了在执行DDL的过程中,由于只读节点的表上存在大查询和长事务而导致的DDL执行失败的问题。前提条件 PolarDB MySQL版 集群版本需为:8.0.1版本且修订版本为8.0.1.1.39及以上。8.0.2版本且修订版本为8.0.2.2.14及以上。...

管理 DDL 任务

通过数据访问代理中的任务管理模块,能直观地对执行过 DDL 任务进行审计操作,在执行 DDL 任务时查看当前的执行进度,并在出现问题时快速定位到执行出错的位置与详细信息。任务管理模块针对执行出错 DDL 任务提供出错处理机制。您可以...

自建MySQL同步至RDS MySQL

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

PolarDB MySQL版迁移至RDS MySQL

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

自建MySQL迁移至RDS MySQL

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

MySQL 租户至 MySQL 数据库的同步 DDL

ALTER TABLE DROP INDEX 同步 DDL 的使用限制 如果需要同步的表涉及支持范围外 DDL,数据迁移项目可能会中断并造成数据问题,且无法恢复。不能频繁对一张表进行 DDL 操作。当 Store 处理完当前 DDL 后(根据位点判断),再进行下一个 DDL...

从自建MySQL迁移至RDS MySQL实例

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

OceanBase 数据库 Oracle 租户之间的同步 DDL

创建索引 CREATE INDEX 删除索引 DROP INDEX 添加和删除表或列的注释 COMMENT 同步 DDL 的使用限制 如果需要同步的表涉及支持范围外 DDL,数据迁移项目可能会中断并造成数据问题,且无法恢复。不能频繁对一张表进行 DDL 操作。当 Store ...

专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...

若目标库的DDL写入失败,DTS任务会继续运行,您需要在任务日志中查看执行失败的DDL。查看任务日志的方法,请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,...

查看任务日志

包括:心跳数据、同步对象的DML记录数、同步对象的DDL记录数。replicator 同步的事务数(DML和DDL)。ping 网络延迟时间:最小/平均/最大。1表示网络链接有问题,无法连接目标库。execute 事务执行时间:是指把事务拼装成SQL发往目标库执行...

DDL 同步范围

本文为您介绍不同类型的数据迁移或数据同步项目对表和索引相关 DDL 语句的支持情况。注意事项 本文 DDL 同步的支持说明,受限于 DDL 语句的复杂性未覆盖所有细节场景,例如 ALTER TABLE ADD COLUMN 的所有选项。如果存在不支持的现象,请...

删除表 DROP TABLE

DROP[TEMPORARY]TABLE[IF EXISTS]tbl_name[,tbl_name].[RESTRICT|CASCADE]忽略的属性 重要 如果同步 DDL 包含以下不支持的定义,则这些属性将不会被解析和转换,最终会被忽略。OceanBase 数据库 MySQL 租户 3.2.3 以下版本不支持 ...

清空表 TRUNCATE TABLE

忽略的属性 说明 如果同步 DDL 中包含以下属性的定义,则这些属性不会被解析和转换,最终会被忽略。被忽略的 option:PRESERVE MATERIALIZED VIEW LOG PURGE MATERIALIZED VIEW LOG DROP STORAGE DROP ALL STORAGE REUSE STORAGE CASCADE

Faster DDL

在线程退出时系统会集中清理过的临时表,这也属于一种特殊类型的DDL操作,同样会导致实例的性能抖动。详情请参见 Temp ibt tablespace truncation at disconnection stuck InnoDB under large BP。测试实例 MySQL 8.0实例(8核、64 GB)...

任务管理概述

因此,数据访问代理提供一整套针对 DDL 任务的管理体系与界面,方便您直观地对执行过 DDL 进行审计操作,您也可以在执行 DDL 任务时查看当前的执行进度,出现问题时快速定位到执行出错的位置与详细信息。数据访问代理中的任务管理模块...

DBMS_METADATA

DBMS_METADATA子程序总览 子程序 说明 GET_DDL Function 获取对象的DDL。GET_DDL 该函数用于获取对象的DDL(Data Definition Language,数据库模式定义语言),函数定义在DBMS_METADATA包中。语法 FUNCTION get_ddl(object_type IN VARCHAR...

删除索引 DROP INDEX

DROP INDEX index_name ON tbl_name[algorithm_option|lock_option].algorithm_option:ALGORITHM[=]{DEFAULT|INPLACE|COPY} lock_option:LOCK[=]{DEFAULT|NONE|SHARED|EXCLUSIVE} 忽略的属性 重要 如果同步 DDL 包含以下不支持的定义,则...

OceanBase 数据库 Oracle 租户至 Oracle 数据库的...DDL

迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库时,不支持导致表从有主键表变为无主键表 DDL 操作。如果 OceanBase 数据库 Oracle 租户中存在 PK,则支持所有 DDL 操作。如果 OceanBase 数据库 Oracle 租户中仅存在 NOT ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性公网IP 短信服务 人工智能平台 PAI 金融分布式架构 对象存储 物联网平台
新人特惠 爆款特惠 最新活动 免费试用