通用属性

table_mapping 当DLA里面的表名跟底层数据的表不一致的时候,可以用property来指定底层数据的表名。举例:DLA的表名是 person,底层数据的表名是 staff。​​​​​​​create external table person(id int,name string,age int)...

路由算法

说明 若未配置路由算法,则在对逻辑表的数据进行操作,会遍历逻辑对应的每一个物理,整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...

Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...

如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

Db2 for LUW迁移至RDS MySQL

如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

Db2 for LUW迁移至PolarDB MySQL版

如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

OceanBase(MySQL模式)迁移至RDS MySQL

如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。geometry类型的数据仅支持全量迁移,不支持增量迁移。其他限制 如果待迁移...

OceanBase(MySQL模式)迁移至PolarDB MySQL版

如仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。geometry类型的数据仅支持全量迁移,不支持增量迁移。其他限制 不支持将...

Db2 for LUW同步至PolarDB MySQL版

如为全量同步和增量同步任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量同步完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...

ALTER DATABASE

当前数据库能被重命名(如果你需要这样做请连接到一个不同的数据库)。第三种形式更改数据库的拥有者。要修改拥有者,你必须拥有该数据库并且也是新拥有角色的一个直接或间接成员,并且你必须具有 CREATEDB 特权(注意超级用户自动拥有...

组合并(AUTO模式)

语法 将多个分区定义一致的表组合并到同一个目标表组,如果源表组和目标表组对应的分区物理位置不一致,会涉及到分区迁移,需要将源表组所有的表、物理位置不一致的分区,全部迁移到目标表组对应分区的存储节点中。将多个表组合并到目标...

同步Redis后出现数据不一致

因此,通过 expires 来判断数据量,逻辑上已经过期但未被Redis删除的keys也会被统计进来,从而出现了源端和目标端的数据不一致的现象。说明 Redis处理过期keys的时机主要为以下几种:CPU空闲清理过期keys。实际访问keys会判断keys...

多可用区数据一致

PolarDB MySQL版 支持多可用区数据一致功能。相比半同步和异步的方式,数据一致功能采用 一主一备一日志 的三节点架构,通过物理复制和X-Paxos协议相结合,具备更高的容灾能力,提供金融级的高可靠性。本文将为您介绍如何开启多可用区...

同步源库为Oracle的注意事项及限制

警告 DTS在执行结构初始化时数据类型无法完全对应,请谨慎评估数据类型的映射关系对业务的影响,否则可能导致任务失败或数据不一致。关于数据类型映射关系的更多信息,请参见 结构初始化涉及的数据类型映射关系 暂不支持同步触发器。建议您...

数据建模诊断

复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式(DISTRIBUTED BY BROADCAST),复制表会在实例的每存储节点保存一份完整的表数据,您在使用其他表和复制表JOIN时,需要在网络间对复制表进行重分发,...

数据建模

数据建模支持ER模型和维度模型两种数据建模方法,帮助用户完成数据模型、逻辑的设计和管理。用户可对数据模型的层次结构进行管理,并对逻辑字段进行设计。字段设计需要在数据标准的约束下,通过模型设计过程中引用标准数据元定义,设置...

代码评审报告

代码评审要求 用例小类 测试要点 说明 是否已检查 数据一致性测试 主键唯一性 产出必须有物理主键或逻辑主键,且在数据上主键成立。是 主键和外键逻辑关系 检查设计文档里关于主外键的设计是否在开发阶段得以实现,且在数据上成立,例如...

数据导入性能优化

云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法,满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响,如的建模合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...

数据导入性能优化

云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法,满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响,如的建模合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...

使用全局临时

描述 数据库内所有会话(连接)共享全局临时表的表定义,当一个会话创建了一个全局临时表时,其他会话也能使用。全局临时表的数据在会话间独立,即会话A写入到全局临时表X中的数据对会话B可见。当一个会话退出时,会清空该会话中全局临时...

申请、续期和交还权限

数据板块:当表类型选择为 逻辑视图、建模逻辑表 和 标签逻辑 ,建议选择逻辑表所在的数据板块。项目:当表类型选择为 物理表、元表、镜像表、物理视图 时,建议选择物理表所在的项目。说明 批量申请权限最多选择100张数据表。筛选项为...

申请、续期和交还权限

数据板块:当表类型选择为 逻辑视图、建模逻辑表 和 标签逻辑 ,建议选择逻辑表所在的数据板块。项目:当表类型选择为 物理表、元表、镜像表、物理视图 时,建议选择物理表所在的项目。说明 批量申请权限最多选择100张数据表。筛选项为...

MySQL实例间的双向同步

为避免该问题,您可以在数据同步配置将该表所属的整个数据库作为同步对象,且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 重要 仅正向任务(即源库同步至目标库)支持同步DDL,反向任务(即目标库同步至源...

for-each节点逻辑原理介绍

{dag.offset} 当前偏移量(每一次遍历相对于第一次的偏移量)${dag.loopTimes} 获取当前遍历次数-在您了解自己输出的表结构的情况下,您可以使用如下变量方式,获取其他变量取值。其他变量 含义${dag.foreach.current[n]} 上游赋值节点的...

数据治理

存储量是实时的数据,存储趋势图(折线图)是某一时刻的快照,如果您现在的计算量很少(产生的临时比较少)的话,两确实会有一些差距。数据地图血缘展示延迟问题 血缘有最少一天的延迟 数据地图新建到 若数据地图目前状态...

自建Oracle同步至DataHub

在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。例如,有除DTS外的数据写入目标库,使用DMS执行在线DDL变更,可能引起目标库数据丢失。费用说明 同步类型 链路配置费用 库结构同步和全量数据同步...

查看逻辑和物理表一致

通过查看逻辑和物理表一致性能够快速对比逻辑和物理一致性,以便及时更新物理,保证逻辑模型和物理一致性。本文介绍如何查看逻辑和物理一致性。前提条件 已新建逻辑,具体操作,请参见 通过Excel导入逻辑、通过云...

配置for-each节点

for-each节点支持以下种环境变量:${dag.foreach.current}:当前遍历的数据行。{dag.loopDataArray}:输入的数据集。{dag.offset}:偏移量。{dag.loopTimes}:当前循环次数,值为${dag.offset}+1。变量详情请参见 内置变量 和 内置变量...

数据开发概述

同时您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑提交后即生成对应智能黑盒调度任务,自动化生产数据。说明 仅绑定数据板块...

查看逻辑和物理表一致

通过查看逻辑和物理表一致性能够快速对比逻辑和物理一致性,以便及时更新物理,保证逻辑模型和物理一致性。本文介绍如何查看逻辑和物理一致性。前提条件 已新建逻辑,具体操作,请参见 通过Excel导入逻辑、通过云...

告警规则指标说明

指标维度 定时任务,筛选条件如下:遍历遍历定时任务,针对每定时任务的指标数据单独进行监控告警。指定筛选固定的几定时任务进行监控告警,示例:=LoadGenerator.mockUserApiLoad。无维度:汇总所有定时任务的指标数据,针对...

数据开发概述

同时您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑提交后即生成对应智能黑盒调度任务,自动化生产数据。说明 仅绑定数据板块...

多可用区部署

最终一致:如果将设置为最终一致(也称为弱一致),那么的主备Partition都可以读写,Replica Consensus协议是将可用区A写入的数据同步至可用区B中,由于数据同步是异步的,所以两副本之间的数据会存在不一致(通常在100ms量级)。...

调试流批一体任务

上传本地数据前需要先下载样例,样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板,您可根据下载的样例编辑需要上传的数据,单击 上传 后,数据自动填充至 元数据采样 区域。手动输入 适用于采集的数据比较少,或者...

回收站列表

为防止对数据的误操作,Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除和恢复。介绍页面 在Dataphin首页,单击顶部菜单栏的 资产。在 资产 页面,...

归档为CSV或ORC格式

导回在OSS上归档的分区中的数据 如果您有将已归档的分区中的数据导回至PolarStore的需求,您可以使用 ALTER 语句将OSS上的数据导回至PolarStore,数据导回后,会同步删除OSS上的冷数据。语法 ALTER TABLE table_name REORGANIZE PARTITION ...

注意事项

因此这些命令对于目标表上的连续查询将不会造成任何明显的表内容不一致,但是它们可能导致目标表内容和数据库中其他表内容之间的不一致。对于可序列化事务隔离级别的支持还没有被加入到热备复制目标中。当前在热备模式中支持的最严格的隔离...

06查看逻辑与物理表一致性对比

不一致:物理一致性和逻辑一致性只要有其中之一不一致,则为不一致。未知:未进行物理化、未被计算节点引用。在 查看逻辑一致性 面板的 物理一致性 页签中,查看结果。由于物理化后没有做逻辑模型的变更,所以当前状态为“一致”。在 ...

设计最佳实践

说明 维度表的数据不应被大量更新。可以使用MAPJOIN语句进行维度和其它的JOIN操作。拉链的设计 在数据仓库的数据模型设计过程中,经常会遇到如下需求:数据量较大。中的部分字段被更新。例如,用户的地址、产品的描述信息、订单的...

概述

Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据,而无需使用复制或集群技术。本地Federated中未存储任何数据,查询本地Federated会通过远程方式提取远程数据。当您使用 PolarDB MySQL版 或社区MySQL...

RDS PostgreSQL间的双向同步

在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。例如,有除DTS外的数据写入目标库,使用DMS执行在线DDL变更,可能引起目标库数据丢失。若为全量同步或增量同步任务,且源数据库中要同步的表包含外...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用