冷数据归档
冷数据通常指在集群中某些数据库表中几乎没有更新且读取频率非常低的数据。如果您有降低成本的需求,可以使用PolarDB MySQL版提供的冷数据归档功能,将这部分数据转存至低成本的对象存储服务(OSS),以降低数据存储成本。
技术原理
PolarDB MySQL版支持将数据归档为CSV、ORC和IBD三种格式。不同格式的归档原理有所差别,详细原理如下所示:
CSV或ORC格式 | IBD格式 |
您可以采用手动或自动两种方式进行数据归档。归档后的数据格式将转变为CSV或ORC格式,并分成多个文件存储在OSS上。同时,PolarDB存储空间内的这部分数据将被自动删除,存储费用也将随着存储空间容量的降低而减少。随后,PolarDB的节点可以通过阿里云内网访问OSS上的数据。更多信息,请参见手动归档冷数据与自动归档冷数据。 说明 归档分区表功能目前处于灰度阶段,如需使用,请前往配额中心,根据配额ID | 本方案在InnoDB存储引擎下使用OSS,而无需修改表所使用的存储引擎。您可以手动将IBD格式文件的存储位置从PolarDB存储空间迁移至OSS。归档后OSS上的IBD格式文件仍具有DML能力,并且保留了原有的索引结构,因此归档后的IBD格式文件仍然具备原有的索引能力。同时,PolarDB存储空间内的这部分数据将被自动删除,存储费用也将随着存储空间容量的降低而减少。更多信息,请参见归档为IBD格式。 说明 归档为IBD格式目前处于灰度发布阶段。如需使用,请前往配额中心,根据配额ID |
归档格式对比
归档冷数据时,您可以根据以下对比评估选择适合的格式进行归档。
对比项 | CSV | ORC | IBD |
开源格式 | 是 | 是 | 否 |
归档方式 |
| 手动归档: | 手动归档: |
归档速度 | 较ORC格式快 说明 只支持使用单线程方式归档数据。 | 慢 说明 只支持使用单线程方式归档数据。 | 较CSV格式快 说明 支持使用单线程和多线程并行归档两种方式。 |
查询速度 |
说明 支持使用单线程和多线程两种方式读取数据。 |
说明 只支持使用单线程方式读取数据。 | 快 说明 支持使用单线程和多线程两种方式读取数据。 |
支持事务 | 否 | 否 | 是 |
索引能力 | 否 | 否 | 是 |
归档后的数据修改方式 | OSS上的归档表只读,需要将OSS数据导回至PolarDB存储空间,再进行修改。 | 归档后的表能正常执行DML操作。 | |
占用的存储空间 | 与没有索引的InnoDB引擎中的表占用的存储空间一致。 | 相同数据量的情况下,占用的存储空间为CSV格式文件占用的存储空间的45%。 | 与InnoDB引擎中的IBD文件占用的存储空间一致。 |
备份恢复 | 不支持。 说明 进行备份操作时,不会对OSS上已归档的冷数据进行备份,因此不支持通过备份进行库表恢复、备份恢复或按时间点还原操作。 | ||
归档后影响 |
|
|
归档普通表、OSS外表以及分区表均存在相关限制。请在进行归档操作之前仔细阅读,以避免对您的业务产生影响。
冷数据归档后,数据将存储在系统默认的对象存储服务(OSS)上,而非存储在您的OSS中。目前,仅支持在PolarDB控制台上查看归档后的数据列表。
版本要求
归档为CSV或ORC格式
产品系列为标准版或集群版时,内核版本需为如下版本之一:
MySQL 8.0.1且修订版本为8.0.1.1.31及以上。
MySQL 8.0.2且修订版本为8.0.2.2.9及以上。
产品系列为多主集群(库表)时,内核版本需为8.0.1.0.13及以上。
归档为IBD格式
内核版本需为MySQL 8.0.1且修订版本为8.0.1.1.43或以上。
费用
冷数据按照OSS中冷数据存储的容量收取费用,具体收费如下。同时,您可以购买PolarDB存储包来抵扣OSS中冷数据的存储容量,以减少这部分费用。详细信息,请参见存储包。
中国内地 | 中国香港及海外 |
0.00021/GB/小时 | 0.000294/GB/小时 |
示例:以中国内地为例,若您开启并执行了冷数据归档操作,归档的数据量大小为100 GB,则每小时费用为100 GB×0.00021元/GB/小时=0.021元/小时。
如何查看冷数据归档数据量大小,请参考查看冷数据归档信息。
如何使用
更多信息,请参见使用说明。
专家面对面
若您对冷数据归档功能有任何问题,可通过钉钉搜索群号入群咨询。您可以直接@群内专家,并附上您要咨询的问题。同时,群内也有PolarDB智能小助手7*24小时在线回答您的问题。
钉钉群号:24490017825