查询机制

SELECT 使用SELECT查询数据时,需要从磁盘中读取一个数据块到内存中,然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时,具体过程如下:从数据文件中读取一个数据块到内存中,并将这行数据写入这个数据块,系统生成...

lo-implementation

大对象的实现将大对象分解成很多“数据块”并且将这些数据块存储在数据库的行中。一个 B-tree 索引用来保证在进行随机访问读写时能够根据数据块号快速地搜索到正确的数据块。为一个大对象存储的数据块并不需要是连续的。例如,如果一个应用...

快照原理

快照1容量=数据块A容量+数据块B容量+数据块C容量=6 MB 云盘继续写入数据块A1(2 MB)、B1(2 MB)和D(2 MB),在10:00时创建第二份快照2,快照2仅备份自快照1以来有变化的数据块A1、数据块B1和数据块D。快照2为增量快照。快照2容量=数据块...

HDFS概述

每一个上传到HDFS的文件都会被划分为一个或多个数据块,这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上,位置信息交由NameNode统一管理。基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构...

概述

说明 PolarDB 集群 一级备份(快照)总大小 是所有一级备份独占的物理空间之和(即上图中①所示),而非逻辑数据大小之和(即上图中②所示),PolarDB 集群的数据与多个一级备份(快照)会复用相同的物理数据块,在计费时只会计算一次。...

重要组件

数据块的大小目前为10GB,每个数据块都有三个副本(位于三台不同的存储节点上),两个副本写成功,才给客户端返回成功。支持数据块维度的高可用,即如果一个数据块发生不可用,可以在上层无感知的情况下秒级恢复。此外,PolarStore使用了...

BRIN索引

BRIN 索引是块级索引,有别于B-TREE等索引,BRIN记录并不是以行号为单位记录索引明细,而是记录每个数据块或者每段连续的数据块的统计信息。因此BRIN索引空间占用特别的小,对数据写入、更新、删除的影响也很小。操作符< <= = >=>应用场景 ...

设置列索引的排序键

而有序数据块集合则可以通过每个列数据块内存中元数据的最大值和最小值等信息过滤掉第一个列数据块,只需要针对第二个列数据块进行处理即可。SELECT*FROM t WHERE c>=8;说明 增量排序功能目前处于灰度发布阶段,您可以加入HTAP专家群来申请...

概述

说明 PolarDB 集群 一级备份(快照)总大小 是所有一级备份独占的物理空间之和(即上图中①所示),而非逻辑数据大小之和(即上图中②所示),PolarDB 集群的数据与多个一级备份(快照)会复用相同的物理数据块,在计费时只会计算一次。...

纠删码

它能通过一定的算法将k个原始数据块计算出m个冗余数据块,只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4,m=2 时,在存储效率上等价于1.5副本,并可以允许最多2个数据块损坏。因此纠删码相比于多副本,可以...

堆表结构

file 数据文件,由多个数据块组成。page 数据块,由多个数据行组成。page header 数据块头,详细信息请参见 数据块头信息。tuple 数据行。tuple header 数据行头,详细信息请参见 数据行头信息。表 1.数据块头信息 结构 说明 pd_lsn 最后...

概述

每次保存时,一级备份并没有真正复制数据,当数据块有修改时系统会将其中一个历史版本的数据块保留给快照,同时生成新的数据块被原数据引用(Redirect)。因此无论数据库容量多少,都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...

快照概述

文件系统第一份快照是实际使用量的全量快照,不备份空数据块,后续创建的快照均是增量快照,只存储变化的数据块,详见 云盘快照的增量快照描述。快照主要功能如下 功能 说明 参考文档 创建快照 支持以下创建快照方式:手动快照:由您手动...

管理缓存

缓存策略 客户端写新的数据块时,默认情况下会将其写入level0层存储。如果level0没有足够的可用空间,则会尝试下一层存储。如果在所有层上均未找到存储空间,Alluxio会释放空间来存储新写入的数据块。默认的释放策略是LRUAnnotator,按照...

集群容灾能力

数据容灾 在Hadoop分布式文件系统(HDFS)中,每一个文件的数据均是分块存储的,每一个数据块保存有多个副本(默认为3),并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下,HDFS的副本系数是3,存放策略是将一个副本存放在...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

数据管理策略

jindo jfs-getStoragePolicy压缩策略 JindoFS提供了Compression Policy功能,可以针对数据块进行压缩后存储,能够有效地减少存储空间和提高数据读写效率,适用于一些高压缩比的文件。支持以下两种压缩策略。策略名称 策略说明 NONE 不对...

WAL日志并行回放

原理介绍 概述 一条WAL日志可能修改多个数据块Block,因此可以使用如下定义来表示WAL日志的回放过程:假设第 i 条WAL日志LSN为 LSN i ​,其修改了 m 个数据块,则定义第 i 条WAL日志修改的数据块列表 Block i ​=[Block i,0 ​,Block i,1 ...

计费

DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等有关,与数据库实例中数据多少无关,具体价格请参考 DTS按量付费价格 和 DTS包年包月价格。重要 若源数据库为分布式...

垃圾回收机制

PolarDB PostgreSQL版(兼容Oracle)通过多版本来实现MVCC机制,当执行UPDATE和DELETE操作时会产生一个新的数据行版本,老的数据行版本会变成无效版本,这些无效版本数据会占用数据块的空间,需要及时进行清理,否则会导致数据的膨胀。...

MongoDB 6.0新特性概览

弹性 MongoDB 6.0在原有弹性的基础上,推出了如下新特性以及优化项:将数据块(Chunk)规格的默认值从64 MB调整为128 MB,有效降低了数据迁移频率以及网络和路由层的开销。支持 configureCollectionBalancing 命令,此命令支持的功能如下:...

功能特性

按时计费 数据传输费用 数据公网下载 MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费数据公网下载 数据传输独享资源 数据传输服务(包年包月)资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组,...

列存索引如何实现高效数据过滤

例如,PolarDB IMCI对TopK(order by+limit)进行了优化,可以利用Topk算子构建的Self-sharpening Input Filter,结合存储层数据块上的minmax索引进行pruning,从而加快topk性能,具体实现原理请参见 计算下推。此外,Runtime filter可用于...

常见问题

PolarDB 的一级备份采用快照链的机制,相同的数据块只会记录一份,因此总物理大小要小于逻辑大小,有时候甚至会小于单个备份逻辑大小。Q:PolarDB 备份有哪些费用?A:一级备份、二级备份以及日志备份的存储空间费用。其中一级备份和日志...

常见问题

PolarDB 的一级备份采用快照链的机制,相同的数据块只会记录一份,因此总物理大小要小于逻辑大小,有时候甚至会小于单个备份逻辑大小。Q:PolarDB 备份有哪些费用?A:一级备份、二级备份以及日志备份的存储空间费用。其中一级备份和日志...

JindoFS存储模式

此命令提供了一种用户显式淘汰本地数据块的方式。Hive分区表按天分区,假如业务上对一周前的分区数据认为不会再经常访问,那么就可以定期将一周前的分区目录执行archive,淘汰本地备份,文件备份将仅仅保留在后端OSS上。Archive命令的使用...

创建HDFS数据

DataNode用于存储数据,及处理数据块的读写。如果您使用的是HDFS,在引入HDFS的业务数据至Dataphin中或将Dataphin数据导出至HDFS的场景中,您需要先完成HDFS数据源的创建。更多HDFS信息,请参见 HDFS官方介绍。使用限制 Dataphin仅支持超级...

基本概念

zoom方式是按照TMS的分块标准在全球范围内对数据进行分块与编码,最左上角的数据块为起始点(0,0),按照从左到右,从上到下的顺序进行增加。该方法的优点是各类型栅格数据都按照统一的时空格网进行分块,便于叠加分析与多元数据融合。此外...

MapReduce

所谓分片,就是将输入数据切分为大小相等的数据块,每一块作为单个Map Worker的输入被处理,以便于多个Map Worker同时工作。Map阶段:每个Map Worker在读入各自的数据后,进行计算处理,最终输出给Reduce。Map Worker在输出数据时,需要为...

功能特性

另外,OceanBase 也提供基于数据块拷贝和事务日志拷贝的物理备份恢复特性作为系统高可用的基础组件。混合事务和分析处理(Hybrid Transaction and Analytical Process,HTAP)OceanBase 数据库独创的分布式计算引擎,能够让系统中多个计算...

在GDB控制台清除实例数据

当图数据库GDB实例中的数据不再使用但需要保留该实例时,您可以通过图数据库GDB提供的清除数据功能清除实例中的数据。本文介绍在图数据库GDB控制台上清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号信息,且清除的...

DataWorks On CDP/CDH使用说明

一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源,实现将其他数据源的数据同步至Hive或HBase数据源,或将Hive或HBase数据...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

成本分析

明细列表:以列表方式展示每个计费项每日的费用以及账期合计费用,同时您可以单击某个计费项对应 明细 列的 查看明细,查看此计费项的费用有哪些实例费用及各实例的费用费用占比,快速定位某个计费项中费用最高的实例。说明 其中明细列表...

漏斗图

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 DBS 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用