OceanBase 数据库之间的数据迁移

仅适用于 OceanBase 数据库 Oracle 租户的注意事项:如果您在迁移过程中,跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项,同步 ROW_MOVEMENT 为 enable 的表,会出现数据不一致的情况。支持的源端和目标端实例类型 下表中,OceanBase ...

迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...

如果源端和目标端的表结构不完全一致,可能会出现数据不一致的情况。目前已知场景如下:用户手动创建表结构时,因超出数据传输的支持范围,可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时,...

数据格式

所有数据文件会按照PK列进行排序,可有效提升Merge的效率,并有助于DataSkipping查询优化。数据文件会按照列式压缩存储,可有效减少存储的数据量,节省成本,也可有效地提升IO读写效率。数据存储分桶 为了进一步优化读写效率,...

备份集查询功能概览

背景信息 传统的备份数据查询有两种方式:将备份数据文件导入至数据库,再通过数据库操作对数据进行查询,但是这种方式耗费时间长,且可能导致数据文件被修改。通过 Hive 的方式直接对文件进行查询,但是这种方式对数据文件格式有严格的...

由于数据文件过多导致集群存储空间被占满的解决办法

问题描述 PolarDB MySQL版 集群可能由于数据文件长时间未整理导致占用过多存储空间,且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据空间使用量较高。如下图所示:解决方案 删除冗余数据,操作步骤如下:说明 删除表前请确保...

数据缓存

原始数据文件会根据访问的IO大小切分为Block,Block被存储到本地文件 cache_path/hash(filepath).substr(0,3)/hash(filepath)/offset 中,并在BE节点中保存Block的元信息。当访问相同的远程数据时,SelectDB会检查本地缓存中是否存在该文件...

本地运行

my_project(项目空间目录)|_|_wc_in(表数据目录)|_data(文件)|_(文件)|_wc_out(表数据目录)|_data(文件)|_(文件)|_|_table_resource_name(表资源)|_|_file_resource_name(文件资源)my_project 的同级目录表示项目空间。wc_in 及 wc_...

自动故障转移和读写分离

表示允许连接到任意数据库,从所有配置的数据库中随机选择一个尝试连接,如果连接的数据出现故障导致连接断开,尝试连接其他数据库,从而实现故障转移。read-write:只连接到支持读写的数据库,即从第一个数据库开始尝试连接,如果...

同步Redis后出现数据不一致

本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务(DTS)同步Redis后,出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务(DTS)同步完Redis后,使用Redis的 info keyspace 命令查看源端和目标...

创建OSS外部表

MaxCompute支持您在项目中创建OSS(Object Storage Service)外部表,与存储服务OSS上的目录建立映射关系,您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据,或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...

数据库画像

系统根据全部数据文件自动生成新的画像版本。授权画像 被授权的用户,具有查看画像、查看画像关联项目、创建数据库评估项目和下载评估报告的权限。授权有效期一个月,在授权有效期内,您可以随时撤回授权。注意 请妥善使用授权功能,由于...

确认表血缘

导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据,但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游,则可能会出现A表数据未产出,当前节点便开始执行,最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...

常见问题概览

无集团上云商品标签的客户,在购买集团内部按量付费商品时为什么会出现如下错误提示?登录数据库 如何正确的填写登录DMS的数据库账号与密码?在DMS登录数据库失败,提示“access denied”,如何处理?SSL证书过期该怎么处理?在DMS录入阿里...

数据

什么数据选择业务时间昨天和今天,也会出现等待时间的情况?为什么数据选择补0点~1点生成了多个实例?为什么进行大量补数据操作时,会出现等待资源情况(实例显示黄色,实例状态为等待资源)?为什么数据报错调起的节点运行时间不...

2021年

OSS分区表下推,如果遇到分区字段出现在parquet数据文件中,可能导致数据查询异常。访问OSS偶发报错 Premature end of Content-Length。执行ADD KEY 报错 ...

COMPACTION

Compaction可以把所有的数据文件按照一定策略进行Merge操作,可提升查询效率。功能介绍 Transactional Table 2.0支持近实时增量写入和timetravel查询特性,在数据频繁写入的场景中,必然引入大量的小文件,需要设计合理高效的合并策略来...

数据组织优化

对于一些超过一定大小的数据文件会进行专门的隔离处理,不会触发进一步合并,避免不必要的读写放大问题,如图中Bucket3的T8数据文件。超过一定时间跨度的文件也不会合并,因为时间跨度太大的数据合并在一起的话,当TimeTravel或者增量查询...

通过元数据发现导入至湖仓版

企业的业务服务所产生的一些标准化表单、日志等数据文件被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理,导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...

Purge Large File Asynchronously

背景信息 当通过DROP TABLE来删除数据时,对应的InnoDB数据文件会直接从文件系统中删除。如果数据文件非常大,直接删除文件会导致POSIX文件系统出现严重的稳定性问题。AliSQL的大文件清理功能会启动一个后台线程来异步清理数据文件。当执行...

元数据抽取

解析格式 支持json、csv、parquet、orc、hudi、delta、avro中某一类格式进行抽取,或采用自动识别模式数据文件自动解析。目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名,输入...

数据安全

本文介绍数据安全相关的常见问题。DSC 是否保存您的数据文件数据安全中心(DSC)不会保存您的数据文件。在您授权访问数据源后,DSC 数据进行扫描,并仅将扫描的分析结果展示在 数据安全中心控制台,供您使用。如何对 DSC 的...

Hudi数据

在Upsert场景下,MOR表中依然数据文件没有被更新,这部分文件可以通过Parquet Native Reader读取。您可以通过EXPLAIN命令查看Hudi Scan的执行计划,hudiNativeReadSplits 表示有多少split文件通过Parquet Native Reader读取。0:VHUDI_...

2022年

无 2022年3月 缺陷修复 修复栅格数据导出到OSS缺少文件后缀的问题。2022年3月 修复栅格对部分数据统计时失败的问题。2022年3月 V1.1.20 内核小版本 类别 名称 描述 相关文档 发布时间 新增 支持表的闪回删除 新增闪回删除功能,可以快速...

云数据库录入

分类分级模板 若开启敏感数据保护,才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板,识别实例中库表的字段是否符合模板内的识别规则,若符合,则给字段打上分类分级的标签,保护敏感等级高的字段。详细信息,请参见 管理分类...

他云/自建数据库录入

分类分级模板 若开启敏感数据保护,才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板,识别实例中库表的字段是否符合模板内的识别规则,若符合,则给字段打上分类分级的标签,保护敏感等级高的字段。详细信息,请参见 管理分类...

MaxCompute资源管理

通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件,不会在 数据开发 面板显示,但会出现在 MaxCompute资源 面板中。使用 MaxCompute资源 面板中所列的资源时,请注意与 数据开发 面板中资源的区别。使用场景 数据...

时序引擎版本说明

功能优化 修复表反复删除可能会出现数据漏删除的问题。修复写入整数到两个列失败的问题。修复嵌套子查询单列降采样时报错的问题。3.4.6 2022年01月11日 新特性 InfluxDB行协议支持指定Schema策略,支持按需创建Schema。TSQL DATABASE/TABLE...

数据导入

说明 当文件类型选择CSV或Excel格式时,会出现该参数项。数据位置 选择数据的位置:第1行为属性:表格首行是字段名。第1行为数据:表格首行是数据。写入方式 选择文件的写入方式:INSERT:插入数据数据库会检查主键(PrimaryKey),如果...

云数据库录入

分类分级模板 当开启敏感数据保护时,才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板,识别实例中库表的字段是否符合模板内的识别规则,若符合,则给字段打上分类分级的标签,保护敏感等级高的字段。详细信息,请参见 管理...

概述

加密方式灵活,支持加密数据文件中的单个数据列,从而减少了不必要的数据I/O开销。密钥介绍及处理机制 密钥介绍 用户主密钥(MEK)用户主密钥(Master Enryption Key,简称MEK)是一种高级别的加密密钥,用于加密和保护某个系统或某组数据...

HDFS与ClickHouse间的数据导入与导出

说明 ClickHouse在数据导出时在相应地址上创建文件并写入数据,默认方式在文件已存在情况下导出失败。EMR-5.8.0、EMR-3.45.0之后的版本可通过 配置参数 来避免此问题。执行以下命令,可以检查数据一致性。SELECT a.*FROM hdfs.orders ...

数据归档常见问题

数据文件的格式是什么?目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档成功?归档完成后,您可以通过以下两种方式来查看表或分区是否归档成功:执行 SHOW CREATE TABLE table_name;命令查看表结构信息,以此来确认表或者分区...

功能特性

数据文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据文件存储实施加密,可以确保数据文件...

同步时源库为Db2 for LUW的注意事项及限制

待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能导致目标数据库中出现重复数据。如同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整...

归档为CSV或ORC格式

说明 如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件,系统报文件已经存在的错误。例如:Target file for archived table exists on oss.您可以在以上三个语法中通过添加 FORCE 关键字来覆盖OSS对象存储中已经存在的数据文件...

解决MySQL实例空间满自动锁定的问题

您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件,解决存储空间问题问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满,为避免数据丢失,实例自动锁定,且无法进行写入操作...

解决MySQL实例空间满自动锁定的问题

您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件,解决存储空间问题问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满,为避免数据丢失,实例自动锁定,且无法进行写入操作...

集群版-单副本

纯缓存应用 单副本集群版的分片服务器由单节点组成,分片服务器某节点出现故障时,系统重新拉起一个Redis进程(没有数据),当节点故障业务自动切换完成后,数据丢失,有可能流量被冲击到后端数据库,需要做好应用程序的预热保护机制...

CreateDbfs-创建数据库文件系统

创建数据文件系统涉及到资源计费,建议您提前了解数据文件系统的计费方式。更多详情请参见 按量付费。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例...

查看集群日报与分析

Hive文件大小分布Top信息提供以下数据:Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题,大量的小文件会严重拖累计算流程,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用