在数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...
DLA内置了处理各类数据文件的Serialize/Deserilize(简称SerDe,用于序列化和反序列化),您无需编写程序,直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe,DLA可以对OSS上的多种格式的文件进行查询分析,包括纯文本文件...
本文介绍将数据文件导入至图数据库GDB实例中的前提条件及操作流程。前提条件 已创建图数据库GDB实例,创建方法请参见 创建实例。已创建Bucket,创建方法请参见 创建存储空间。说明 如果是在对象存储OSS控制台创建,必须与已创建的图数据库...
数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同,备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的...
本文为您介绍如何通过MaxCompute客户端,使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件:已创建表。更多创建表操作,请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
本地上传 单击 方法一:本地上传 下方的空白区域,即可在本地PC中选择一个CSV数据文件,单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二:OSS上传 下方的输入框中,输入CSV数据文件的OSS链接地址,并单击对话框右下方 ...
本地上传 单击 方法一:本地上传 下方的空白区域,即可在本地PC中选择一个CSV数据文件,单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二:OSS上传 下方的输入框中,输入CSV数据文件的OSS链接地址,并单击对话框右下方 ...
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中,将鼠标移动至需要编辑的数据看板上,单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
Level0到Level1主要针对原始写入的DeltaFile(图中蓝色数据文件)合并为中等大小的DeltaFile(图中黄色数据文件),当中等大小的DeltaFile达到一定规模后,会进一步触发Level1到Level2的合并,生成更大的DeltaFile(图中橙色数据文件)。...
Federated表结构如下:当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时,通常会从本地 PolarDB MySQL版 集群插入数据文件,更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行,在远程集群或服务器...
一般情况下,OSS外表存储的数据是冷数据,数据量比较大,当单个CSV格式的数据文件过大时,对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能,您可以将单个OSS外表的数据文件拆分为多个小的数据文件,以加快查询速度。本文介绍...
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
GO 说明/var/opt/mssql/data/testdb.mdf 为数据文件地址,testdb.mdf 为数据文件逻辑名。var/opt/mssql/data/testdb_log.ldf 为日志文件地址,testdb_log.ldf 为日志文件逻辑名。您可在目标数据库的 属性>文件 中可以查看到数据文件和日志...
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式,当前支持 CSV 和 自定义文本文件 两种文件格式,其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览,根据界面提示选择待上传的数据文件。选择...
结构 说明 table files 表文件,由一个或多个数据文件组成,文件数量与文件大小有关,超过1 GB就会生成一个新的数据文件。file 数据文件,由多个数据块组成。page 数据块,由多个数据行组成。page header 数据块头,详细信息请参见 数据...
对象存储OSS控制台支持上传大小不超过5 GB的文件,如果您需要导入图数据库GDB实例的数据文件不超过5 GB,您可以将数据文件上传至对象存储OSS的Bucket中,然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间,且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
INSERT OVERWRITE PARTITION SELECT 功能:和 INSERT INTO PARTITION SELECT 使用方法相同,功能上的不同在于会清除掉本次执行中涉及到的目标分区中之前已有的数据文件,对于没有新数据写入的分区,则不会清除其中的数据文件。语法:INSERT...
将数据文件(点文件和边文件)导入至图数据库GDB实例前,您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等,使导入操作更加流畅。前提条件 已创建图数据库GDB实例,创建方法请参见 创建实例。已创建Bucket,创建方法请...
背景信息 传统的备份数据查询有两种方式:将备份数据文件导入至数据库,再通过数据库操作对数据进行查询,但是这种方式耗费时间长,且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询,但是这种方式对数据文件格式有严格的...
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式,来高效支持全量读写和近实时增量读写等多种场景,主要包含BaseFile和DeltaFile两种形态。其中:DeltaFile:每次事务Commit写入(Update/Delete)的...
由于tempdb库总是使用简单恢复模式,因此tempdb库的日志文件通常很小,但是数据文件容易增长地很快,例如创建大量临时表、连接大表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避,例如减少不必要的临时...
AliSQL通过异步Purge数据文件的方式来提高系统的稳定性。背景信息 当通过DROP TABLE来删除数据时,对应的InnoDB数据文件会直接从文件系统中删除。如果数据文件非常大,直接删除文件会导致POSIX文件系统出现严重的稳定性问题。AliSQL的大...
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一:通过RDS管理控制台的监控页面查看空间使用情况,详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一:通过RDS管理控制台的监控页面查看空间使用情况,详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
MaxCompute支持您在项目中创建OSS(Object Storage Service)外部表,与存储服务OSS上的目录建立映射关系,您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据,或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满,为避免数据丢失,RDS MySQL会对实例进行自动锁定,磁盘锁定之后,将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多,导致数据文件占满磁盘空间,...
文件级:使用号*作为数据文件名占位符,如/ftpuser/test/.flg,将会为每一个数据文件生成一个同名的flg空文件。合并策略 选择输出数据的线程:合并:则所有数据会合并成一个文件,采用单线程输出,大文件输出速度会受影响。重要 合并不支持...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满,为避免数据丢失,RDS MySQL会对实例进行自动锁定,磁盘锁定之后,将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多,导致数据文件占满磁盘空间,...
EMR的Delta Lake定义数据文件不需要包含以下两部分:当前最新版本关联到的数据文件。执行过Savepoint的特定版本关联到的数据文件。VACUUM命令可以通过两种方式指定删除多久前的数据文件:通过参数 delta.deletedFileRetentionDuration 配置...
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例,创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建,请确保图...
RDS PostgreSQL支持透明数据加密(Transparent Data Encryption,简称TDE),对数据文件进行实时加密和解密,保护用户数据隐私,本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
云原生内存数据库Tair 支持透明数据加密TDE(Transparent Data Encryption),可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能,对RDB数据进行自动加密和解密,以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
本文介绍如何通过外表查询OSS数据文件,并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版(3.0)。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作,请参见 开通OSS服务、控制台...
云数据库Redis支持透明数据加密TDE(Transparent Data Encryption),可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能,对RDB数据进行自动加密和解密,以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
创建存放数据文件的目录。mkdir data1tb 构建测试数据。dsdgen-sc 1000-dir data1tb-TERMINATE N 参数说明如下:参数 说明 示例-sc 测试数据量的大小。10表示10GB,1000表示1000GB(1TB)-dir 生成的数据文件写入的目录。data1tb-TERMINATE...
本文以数据文件存储在OSS中为例,介绍如何将OSS中的数据文件导入 AnalyticDB MySQL版 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB MySQL版 数据的目录。开通OSS服务。详情请参见 开通OSS服务。创建...
注意事项 AnalyticDB MySQL版 仅支持CSV、Parquet两种数据文件导入,因此使用RDS MySQL下载备份功能时,请选择下载格式为CSV或Parquet。准备工作 通过以下步骤在 对象存储(Object Storage Service,简称OSS)中创建存储 AnalyticDB ...
如果需要收缩一个SQL Server的数据文件,必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小,或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件,所以收缩...