数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
整体流程介绍
本文介绍将数据文件导入至图数据库GDB实例中的前提条件及操作流程。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请参见 创建存储空间。说明 如果是在对象存储OSS控制台创建，必须与已创建的图数据库...
什么是备份数据量
数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
上传数据
本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 ...
上传数据
本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 即可上传一个CSV数据文件。OSS上传 在 方法二：OSS上传 下方的输入框中，输入CSV数据文件的OSS链接地址，并单击对话框右下方 ...
添加静态数据
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
数据组织优化
Level0到Level1主要针对原始写入的DeltaFile（图中蓝色数据文件）合并为中等大小的DeltaFile（图中黄色数据文件），当中等大小的DeltaFile达到一定规模后，会进一步触发Level1到Level2的合并，生成更大的DeltaFile（图中橙色数据文件）。...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
迁移RDS SQL Server数据到本地SQL Server
GO 说明/var/opt/mssql/data/testdb.mdf 为数据文件地址，testdb.mdf 为数据文件逻辑名。var/opt/mssql/data/testdb_log.ldf 为日志文件地址，testdb_log.ldf 为日志文件逻辑名。您可在目标数据库的 属性>文件 中可以查看到数据文件和日志...
上传数据
参数 配置说明 文件格式 您可以根据待上传的数据文件类型选择文件格式，当前支持 CSV 和 自定义文本文件 两种文件格式，其中自定义文本文件支持.txt、.csv 和.log 类型的文件。选择文件 单击 浏览，根据界面提示选择待上传的数据文件。选择...
堆表结构
结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。page 数据块，由多个数据行组成。page header 数据块头，详细信息请参见 数据...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
由于数据文件过多导致集群存储空间被占满的解决办法
本文介绍了由于数据文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于数据文件长时间未整理导致占用过多存储空间，且在集群的 空间分析 页面的 空间变化趋势 区域中确认数据...
导出至OSS
INSERT OVERWRITE PARTITION SELECT 功能：和 INSERT INTO PARTITION SELECT 使用方法相同，功能上的不同在于会清除掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。语法：INSERT...
准备工作
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
表数据格式
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式，来高效支持全量读写和近实时增量读写等多种场景，主要包含BaseFile和DeltaFile两种形态。其中：DeltaFile：每次事务Commit写入（Update/Delete）的...
常用文件路径
数据湖集群 大数据组件安装目录 组件安装在/opt/apps/xxx 目录下，例如：HDFS：/opt/apps/HDFS/hdfs-current Hive：/opt/apps/HIVE/hive-current Hudi：/opt/apps/HUDI/hudi-current YARN：/opt/apps/YARN/yarn-current Presto：/opt/apps/...
RDS SQL Server空间不足问题
由于tempdb库总是使用简单恢复模式，因此tempdb库的日志文件通常很小，但是数据文件容易增长地很快，例如创建大量临时表、连接大表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避，例如减少不必要的临时...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
解决SQL Server实例空间满自动锁的问题
数据文件占用量高。临时文件占用量高。解决办法 查看空间使用状况 方法一：通过RDS管理控制台的监控页面查看空间使用情况，详情请参见 查看资源和引擎监控。参数说明如下。参数 说明 磁盘空间总体使用量 所有用户数据库的数据文件和日志...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...
RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间被占满，为避免数据丢失，RDS MySQL会对实例进行自动锁定，磁盘锁定之后，将无法进行写入操作。问题描述 云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，...
配置HDFS输出组件
文件级：使用号*作为数据文件名占位符，如/ftpuser/test/.flg，将会为每一个数据文件生成一个同名的flg空文件。合并策略 选择输出数据的线程：合并：则所有数据会合并成一个文件，采用单线程输出，大文件输出速度会受影响。重要 合并不支持...
数据管理
EMR的Delta Lake定义数据文件不需要包含以下两部分：当前最新版本关联到的数据文件。执行过Savepoint的特定版本关联到的数据文件。VACUUM命令可以通过两种方式指定删除多久前的数据文件：通过参数 delta.deletedFileRetentionDuration 配置...
使用curl命令导入数据文件
本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例，创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建，请确保图...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
开启透明数据加密TDE
云原生内存数据库Tair 支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
开启透明数据加密TDE
云数据库Redis支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB MySQL版 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB MySQL版 数据的目录。开通OSS服务。详情请参见 开通OSS服务。创建...
云盘备份数据导入至AnalyticDB MySQL版
注意事项 AnalyticDB MySQL版 仅支持CSV、Parquet两种数据文件导入，因此使用RDS MySQL下载备份功能时，请选择下载格式为CSV或Parquet。准备工作 通过以下步骤在 对象存储（Object Storage Service，简称OSS）中创建存储 AnalyticDB ...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
RDS for SQL Server如何回收表空间
如果需要收缩一个SQL Server的数据文件，必须使用 DBCC SHRINKDATABASE 命令收缩指定数据库的指定数据或日志文件大小，或者使用 DBCC SHRINKFILE 命令收缩当前数据库的指定数据或日志文件大小。MySQL表的空间是独立的一个文件，所以收缩...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
COMPACTION
Compaction可以把所有的数据文件按照一定策略进行Merge操作，可提升查询效率。功能介绍 Transactional Table 2.0支持近实时增量写入和time travel查询特性，在数据频繁写入的场景中，必然会引入大量的小文件，需要设计合理高效的合并策略来...
- 产品推荐
- 这些文档可能帮助您