全增量实时同步至Hologres

如上图所示,使用 源端数据库名 将源端数据库名作为目标schema名称,并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列,单击 编辑 按钮。可以使用...

内置全密态能力

PolarDB PostgreSQL版(兼容Oracle)提供全密态数据库功能,数据在用户侧加密后传入数据库管理系统,数据明文对于数据库服务端不可见,实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品,可以...

MySQL分分表同步至Hologres(方案2.0)

说明 您需要根据业务需要定义读取端数据库所使用的编码格式,及同步任务区源端数据库读取数据时所使用的时区。步骤三:选择要同步的库表 此步骤中,您可以在 源端库表 区域选择 doc_mysql1 数据源下需要同步的源端表,您可以选择该MySQL...

配置并管理实时同步任务

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...

通过向导模式配置离线同步任务

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...

一键实时同步至Kafka

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...

配置同步任务中的数据来源和去向

同步速率 设置同步速率可保护读取端数据库,以避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。错误记录数超过 NA 任务资源组 NA 单击 保存 和 提交,配置任务需要的其他信息。完成同步...

数据库代理简介

数据库代理作为数据库服务端和应用服务端之间的网络代理服务,用于代理应用服务端访问数据库时的所有请求,具有高可用、高性能、可运维、简单易用等特点。适用场景 事务内有大量请求,导致主实例负载过高的场景。连接数过多导致主实例负载...

通过脚本模式配置离线同步任务

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...

MySQL分分表同步至MaxCompute

说明 您需要根据业务需要定义读取端数据库所使用的编码格式,及同步任务区源端数据库读取数据时所使用的时区。步骤三:分库源表设置 分库分表解决方案同步的最小单位是逻辑表,一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...

MySQL分分表同步至MaxCompute

说明 您需要根据业务需要定义读取端数据库所使用的编码格式,及同步任务区源端数据库读取数据时所使用的时区。步骤三:分库源表设置 分库分表解决方案同步的最小单位是逻辑表,一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...

DB2数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据同步系统和服务器端的网络交互次数,能够较大的提升数据抽取性能。说明 fetchSize 值过大(>2048)可能造成数据同步进程OOM。否 1024 Writer脚本...

创建同步任务

限流:您可以通过限流控制同步速率,以保护读取端数据库,避免抽取速度过大,给源库造成太大的压力。限速最小配置为1MB/S。不限流:在不限流的情况下,任务将在所配置的并发数的限制基础上,提供现有硬件环境下最大的传输性能。说明 流量...

通过Linked Server访问云下自建SQL Server

说明 请确保该ECS实例的安全组规则允许客户端远程连接,授权对象为SSL服务端配置中指定的客户端网段,并指定要访问本地的数据库服务端口号。更多信息,请参见 安全组配置案例。若无法连接,可能是由于本地主机设置了防火墙,需要将防火墙...

Kafka数据

实时同步写入数据到Kafka时,写入的格式为内置的JSON格式,写入数据为包含数据库变更消息的数据、业务时间和DDL信息的所有数据,数据格式详情请参见 附录:消息格式。同步任务类型 写入Kafka value 的格式 源字段类型 写入时的处理方式 ...

通过ASM实现gRPC链路追踪

除了Java语言的实现,其他语言的通信模型方法都对Headers有感知,因此可以将服务端读取Headers-传递Headers-客户端发送Headers这三个动作有顺序地在4种通信模型方法内部实现。Java语言读取和写入Headers是通过两个拦截器分别实现的,因此...

通过ASM实现gRPC链路追踪

除了Java语言的实现,其他语言的通信模型方法都对Headers有感知,因此可以将服务端读取Headers-传递Headers-客户端发送Headers这三个动作有顺序地在4种通信模型方法内部实现。Java语言读取和写入Headers是通过两个拦截器分别实现的,因此...

查看审计日志

服务端IP 数据库服务器服务端的IP地址,支持设置IPv4或IPv6地址。服务端端口 数据库服务器服务端的端口号。数据库名/实例名 数据库名称或实例名称。客户端工具 登录数据库的客户端工具。主机名 数据库服务器的主机名。操作系统用户名 使用...

HBase数据

scanBatchSize":"100",/HBase client每次RPC从服务器端读取的列数。hbaseVersion":"094x/11x",/HBase版本。column":[/字段。{"name":"rowkey",/字段名。type":"string"/数据类型。},{"name":"columnFamilyName1:columnName1","type":...

迁移评估概述

功能 描述 数据库对象评估 支持直接连接源端数据库,自动获取源端数据库对象的信息,评估源端数据库至 OceanBase 数据库对应版本的兼容性。目前支持进行对象评估的数据库类型及版本如下:Oracle 数据库:11g/12c/18c/19c MySQL 数据库:5.6...

常见通用问题

服务端读取签名字符串后,收到的请求进行本地签名进行计算,查看与收到的签名是否一致,以此来判断请求是否合法。对客户端到移动网关的请求进行验签,以验证调用者身份保证安全。网关验证,默认打开;如需关闭请在配置文件中设置。网关验签...

移动网关常见问题

服务端读取签名字符串后,收到的请求进行本地签名进行计算,查看与收到的签名是否一致,以此来判断请求是否合法。对客户端到移动网关的请求进行验签,以验证调用者身份保证安全。网关验证,默认打开;如需关闭请在配置文件中设置。网关验签...

执行增量 DDL 评估

端数据库版本 从下拉列表选择源端的数据库版本,目前支持 MySQL 数据库 5.6、5.7、8.0 和 8.0.13 版本。目标端数据库类型 从下拉列表选择目标端的数据库类型,目前仅支持 OceanBase 数据库 MySQL 租户(简称 OBMySQL)。目标端数据库版本...

迁移 PolarDB-X 1.0 数据库数据至 OceanBase 数据库...

增量同步 增量同步任务开始后,数据传输会同步源端数据库发生变化的数据(新增、修改或删除)至目标端数据库对应的表中。增量同步 支持的同步 DML 包括 Insert、Delete 和 Update,您可以根据需求进行选择。详情请参见 DML 过滤。全量校验 ...

配置过滤规则

数据库名(SID)不涉及 服务端数据库名。Oracle数据库输入SID,其他数据库输入数据库名称。支持填写多个值,多个值之间以半角逗号(,)分隔。行为 对象组 不涉及 SQL语句所属的对象组。支持 包含任一对象则满足、包含所有对象才满足。...

后端签名校验说明

服务端读取签名字符串后,对收到的请求进行本地签名计算,比对与收到的签名是否一致,以此来判断请求是否合法。读取签名 移动网关计算的签名保存在 Request 的 Header 中,Header Key 为 X-Mgs-Proxy-Signature。API 分组中配置的密钥 Key ...

配置安全规则

本文介绍了在云盾数据库审计系统中为数据库配置安全规则的具体操作。前提条件 已添加数据库。关于添加数据库的具体操作,请参见 添加数据库。背景信息 将数据库添加到数据库审计系统后,您可以为数据库配置安全规则。当审计记录命中配置并...

使用数据传输迁移数据

反向增量 反向增量任务开始后,可以实时回流业务切换后在目标端数据库产生的变更数据至源端数据库。说明 该功能限时免费。在 选择迁移对象 页面,选择当前数据迁移项目的迁移对象。您可以通过 指定对象 或 匹配规则 选择迁移对象。选择 ...

原理架构

系统架构 数据同步服务的逻辑架构图:全量同步:负责将表数据从源端数据库同步到目的端数据库,支持异构数据库间同步。增量同步:负责将源端的增量数据同步到目的端,主要包含 Store 和 JDBCWriter 两个组件。存储:采集源端 DB 的变更到...

开发和调试

inputs:存放作业的输入数据,优先取自本地的 warehouse,如果本地没有,会通过MaxCompute SDK从服务端读取(如果设置了 odps.end.point),默认一个 input 只读10条数据,可以通过-Dodps.mapred.local.record.limit 参数进行修改,但是也...

SQL回放

在执行区域,查看源端数据库的SQL在AnalyticDB MySQL中是否可以执行成功(执行失败的情况下,说明源端和目标端可能存在兼容性问题,需要在目标端进行SQL改造);对比源端数据库执行SQL与在目标端执行SQL的耗时。后续操作 使用SQL回放功能后...

如何创建Federated表

使用限制 目前仅支持使用公网地址连接远端服务器数据库。不支持远程连接在ECS上自建的数据库。操作步骤 创建远端Server。语法如下:CREATE SERVER<server_name>FOREIGN DATA WRAPPER mysql OPTIONS(HOST"<host_name>",PORT 3306,USER...

使用SSMS和BCP迁移SQL Server数据库

前提条件 目标数据库主机需要有充足的存储空间来存放导入的数据和因此而带来的日志文件增长,两者加起来的空间增长大概是源端数据库大小的2-3倍(如果数据库是Full模式)。如果目标数据库是在本地自建环境,请确保宿主机有足够的存储空间;...

数据归档

归档范围 选择归档源端数据库中部分表(部分归档)或者归档源端数据库中所有表(整库归档)。自定义变量 可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。执行方式 选择 立即执行/定时执行/周期执行 设置任务执行方式...

购买数据迁移项目

源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库(MySQL 和 Oracle 租户)、MySQL、Oracle、PostgreSQL、TiDB、PolarDB-X 1.0 和 PolarDB-X 2.0 数据库。目标端地域 根据您选择的源端...

购买数据同步项目

源端地域 请选择源端数据库所在地域。源端类型 请选择源端数据库的类型。目前源端支持 OceanBase 数据库(MySQL 和 Oracle 租户)、PostgreSQL 数据库。目标端地域 根据您选择的源端地域,展示支持的目标端地域。目标端类型 根据您选择的源...

配置信任规则

如果您需要审计某类数据库操作,但无需上报告警,您可以为此类数据库操作自定义信任规则。本文介绍如何新增信任规则及信任规则的相关操作。新增信任规则 注意 配置信任规则后,生效资产中满足该规则的请求,都不会产生告警,建议您谨慎配置...

设置连接保持

RDS MySQL数据库代理实现连接保持分为三个步骤:开始切换:阻塞新的连接和新的请求 由于代理不具备事务保持能力,因此,对于不同状态的会话,采取不同的处理方式:阻塞期间事务活跃的会话:代理将放行请求到后端数据库主节点执行。...

使用ClickHouse-Local迁移上云

当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时,您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...

设置增量同步位点

设置增量同步位点时,仅支持选择当前时间或当前时间之前的时间点,并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景:您在创建数据迁移或数据同步项目前,已确保源端...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库自治服务 云数据库 RDS 数据库备份 云数据库 Redis 版 云服务器 ECS 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用