管理数据同步任务和存储

添加并开启云产品数据源同步任务后,您可查看对应同步任务的详细信息,包括同步状态、数据同步存储表、同步任务运行信息等。您也可根据需要在数据同步存储表中新增字段。本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步...

将MaxCompute数据同步到表格存储

步骤五:查看导入到表格存储中的数据 在表格存储控制台查看表格存储数据同步结果。登录 表格存储控制台。在 概览 页面上方,选择地域。单击实例名称。在 实例详情 页签下的 数据表列表 页签,单击目标数据表名称。在 数据管理 页签,即可...

将HBase数据同步到表格存储

使用DataX将HBase数据库中的全量数据同步到表格存储(Tablestore)中。准备工作 开通表格存储服务,并创建实例和数据表。具体操作,请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...

将Oracle数据同步到表格存储

在页面左侧,将Oracle和表格存储数据库拖拽到右侧画布中,然后将其连接起来。单击Oracle数据库,根据下表说明在右侧面板配置参数。参数 描述 节点名称 默认为连接名称,请根据实际设置。DDL事件采集 暂不支持对表格存储执行DDL语句同步,...

将表格存储数据表中数据同步到另一个数据表

使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表,目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作,请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移,...

将表格存储时序表中数据同步到另一个时序表

全量数据同步 步骤一:新增数据源 具体操作,请参见 步骤一:新增表格存储数据源。如果源时序表和目标时序表所在实例相同,则只需要创建一个数据源即可。如果源时序表和目标时序表所在实例不同,则需要分别创建源数据源和目标数据源。步骤...

存储网关中的数据没有同步上传到OSS Bucket

本文介绍云存储网关中的数据没有同步上传到OSS Bucket的原因。云存储网关中的数据没有同步上传到OSS Bucket中,存在以下2个已知原因。1.0.31之前的版本,如果文件大小超过120G,会上传失败。1.0.31及之后版本,如果文件大小超过1.2TB,会上...

迁移工具

将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...

AnalyticalStoreSyncType

分析存储同步类型。AnalyticalStoreSyncType用在TimeseriesAnalyticalStore中表示分析存储同步选项,用在AnalyticalStoreSyncStat中表示分析存储同步状态。枚举取值列表 enum AnalyticalStoreSyncType { SYNC_TYPE_FULL=1;SYNC_TYPE_INCR=2...

概述

您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储(Tablestore)中。使用场景 数据架构变化 随着业务的变化,如果现有业务对数据库并发读写需求、扩展性和可用性需求较高,或需要复杂的检索,原有...

AnalyticalStoreSyncStat

分析存储同步状态。数据结构 message AnalyticalStoreSyncStat { optional AnalyticalStoreSyncType sync_phase=1;同步状态。optional int64 current_sync_timestamp=2;最新同步时间。} 名称 类型 描述 sync_phase AnalyticalStoreSyncType...

概述

增量数据同步到MaxCompute后,您可以在MaxCompute中使用merge_udf.jar包将表格存储的增量数据转换为全量数据格式。具体操作,请参见 将表格存储的增量数据转换为全量数据格式。准备工作 已确认和记录表格存储中要同步到MaxCompute的实例和...

使用canal同步

对于中小规模的数据库或者个人开发者,您可以使用canal将MySQL数据同步到表格存储。canal部署简单,易于运维,适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能,并且配置binlog-format为ROW模式。已创建目标Tablestore表。...

使用DataX同步

通过DataX,您可以将MySQL数据库中的全量数据同步到表格存储(Tablestore)的数据表中。DataX只支持同步全量数据,不支持同步增量数据。前提条件 已创建表格存储实例并在实例详情页面获取实例的服务地址(Endpoint)。具体操作,请参见 ...

使用Tapdata Cloud导入MySQL数据

在页面左侧,将MySQL和表格存储数据库拖拽到右侧画布中,然后将其连接起来。单击MySQL数据库,根据下表说明在右侧面板配置参数。参数 描述 节点名称 默认为连接名称,请根据实际设置。DDL事件采集 暂不支持对表格存储执行DDL语句同步,无需...

数据集成服务

您可以使用OSS备份表格存储数据或者将表格存储数据同步到OSS后下载文件到本地。迁移方案 请根据实际业务需求通过DataWorks数据集成实现表格存储与不同数据源之间的数据迁移。数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle...

同步增量数据到MaxCompute

如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用,您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作,请参见 注意事项。已...

同步增量数据到OSS

如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用,您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型:导出 表格存储...

同步数据到时序表

value.converter=org.apache.kafka.connect.json.JsonConverter value.converter.schemas.enable=false 此处以配置standalone模式为例介绍,distributed模式的配置步骤与同步数据数据表时的distributed模式配置步骤类似,只需按照上述...

什么是表格存储

迁移同步 您可以将异构数据平滑迁移同步到 表格存储,还可以将 表格存储 数据同步到对象存储OSS(Object Storage Service)等服务中。分类 数据同步 描述 数据导入 同步MySQL数据 使用DataX、DTS、canal工具或者Tapdata Cloud将MySQL数据库...

Kafka数据接入

更多信息,请参见 将Kafka数据同步到表格存储。注意事项 仅支持在同地域内,将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至表格存储。Connector的限制说明,请参见 使用限制。创建Connector时,云消息队列 Kafka 版 会为您自动创建...

时序模型介绍

更多信息,请参见 将表格存储数据同步到OSS。如果要可视化展示时序数据,您可以通过对接Grafana实现。更多信息,请参见 对接Grafana。通过Flink计算与分析数据后,您可以使用Tablestore时序表存储输出结果。更多信息,请参见 使用时序表...

使用Tablestore(OTS)Reader同步全量数据时如何配置...

当使用Tablestore(OTS)Reader同步全量数据过程中出现同步速度较慢问题时的现象、原因和解决方案。现象 使用Tablestore(OTS)Reader同步全量数据过程中出现同步速度较慢问题。同步脚本的配置如下:"reader":{"plugin":"ots","parameter":...

数据导出到OSS概述

计费说明 数据同步到OSS时,表格存储会收取读取表格存储数据的费用。表格存储支持预留模式(预付费)和按量模式(后付费)两种计费模式,根据所用计费模式不同计费有差异。预留模式:计费项包括计算能力、数据存储量和外网下行流量,其中...

数据集成概述

说明 以业务数据库数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据库系统里,需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...

错误处理

在将Kafka数据导入到表格存储的过程中可能产生错误,如果您不希望导致Sink Task立即失败,您可以配置错误处理策略。可能产生的错误类型如下:Kafka Connect Error 此类错误发生在Sink Task执行数据导入前,例如使用Converter进行反序列化...

数据同步流程

数据传输提供数据同步功能,帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...

启动和暂停数据同步项目

启动数据同步项目 创建数据同步项目时,如果在预检查完成后仅保存该数据同步项目,未进行启动,则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据同步。在 同步项目列表 页面,...

同步方案概览

云数据库Redis企业版/Tair实例(集群架构、标准架构或读写分离架构)全量数据同步 增量数据同步 单向同步 RDS MySQL同步至Tair/Redis 表格存储(Tablestore)库表结构同步 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至Tablestore...

重新配置数据同步作业

当您需要停止数据同步或重新配置数据同步时,您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月:无影响。按量付费:数据同步作业将转变为 未配置 状态并停止计费,再次完成数据同步...

数据同步操作指导

数据同步功能可以帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程,帮助您快速掌握创建、...

查看数据同步项目的详情

启动数据同步项目后,您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据同步。单击目标数据同步项目的名称,进入详情页面,...

结束数据同步作业

如果不再需要数据同步,您可以结束数据同步作业,停止将源库的数据变更同步至目标库。前提条件 数据同步作业处于 同步中、已暂停、同步失败、同步初始化中 或 同步初始化失败 状态。注意事项 结束数据同步作业后,数据同步作业将处于 已...

数据同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...

引用和清空数据同步项目配置

本文为您介绍如何引用和清空已有数据同步项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据同步项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据同步。在 数据同步 页面,单击未配置的目标...

申请跨境数据同步权限

数据传输服务DTS(Data Transmission Service)默认仅支持非跨境的数据同步任务,若您需要创建跨境(跨国家或地区)的数据同步任务,需要申请开通跨境同步的权限。例如,创建从中国内地到非中国内地地域的同步任务时,需要申请跨境同步的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 数据库备份 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用