归档为CSV或ORC格式

更新时间: 2023-11-07 13:47:48

本文介绍了将冷数据归档为CSV或ORC格式的方法,以及将OSS表数据导回至PolarStore的方法。

前提条件

  • 归档为CSV格式的文件,企业版集群版本需满足以下要求,您可以通过查询版本号来确认集群版本。

    • 产品系列为集群版,且版本为以下版本之一:

      • PolarDB MySQL版8.0.1版本且修订版本为8.0.1.1.32及以上。

      • PolarDB MySQL版8.0.2版本且修订版本为8.0.2.2.10及以上。

        说明

        集群版本为以下版本时,手动归档冷数据不记录Binlog日志。

        • PolarDB MySQL版8.0.1版本且修订版本为8.0.1.1.33及以上。

        • PolarDB MySQL版8.0.2版本且修订版本为8.0.2.2.11.1及以上。

    • 产品系列为多主集群(库表),且版本为PolarDB MySQL版8.0.1.0.13及以上。

  • 归档为ORC格式的文件,企业版集群版本需为PolarDB MySQL版8.0.2版本且修订版本为8.0.2.2.16.2及以上。您可以通过查询版本号来确认集群版本。

  • 开启冷数据归档功能。

  • 连接数据库集群

归档普通表

冷数据归档执行的是表归档操作,执行冷数据归档操作后的表称为归档表(只读),归档表的引擎为OSS引擎,归档表的数据文件存储在OSS上。执行冷数据归档操作后,原来本地表在PolarStore上占用的空间将被释放。

  • 语法

    • 归档为CSV格式的文件:

      ALTER TABLE table_name ENGINE = CSV CONNECTION = 'default_oss_server' [, FORCE];

      当集群版本为PolarDB MySQL版8.0.1.1.33版本及以上,或PolarDB MySQL版8.0.2.2.13版本及以上,或多主集群(库表)为PolarDB MySQL版8.0.1.1.15及以上时,除上述语法外,还支持使用以下语法来手动归档冷数据:

      ALTER TABLE table_name ENGINE = CSV STORAGE OSS [, FORCE];
    • 归档为ORC格式的文件:

      ALTER TABLE table_name ENGINE = ORC STORAGE OSS [, FORCE];
  • 参数说明

  • 参数

    说明

    table_name

    需要归档到OSS对象存储中的表名。

    FORCE

    是否直接覆盖OSS对象存储中的数据。取值如下:

    • 'force':对于OSS对象存储中已经存在的数据文件,可以直接覆盖,重新写入;

    • '':对于OSS对象存储中已经存在的数据文件,系统会报文件已经存在的错误。如:

      Target file for archived table exists on oss.
  • 注意事项

    • 支持对InnoDB引擎和X-Engine引擎上的表使用冷数据归档功能。

    • 冷数据归档过程中不支持对表进行修改(DDL和DML)。

    • 冷数据归档功能不支持将数据文件归档到用户自建的OSS Server中。

    • 对InnoDB引擎中的表使用冷数据归档功能时,执行冷数据归档操作的表中必须有主键。

    • 冷数据归档完成后,OSS上的归档表只读,且查询性能较差。您需要提前测试数据归档后能否满足您的查询性能要求。

  • 示例

    将表t中的数据以CSV格式归档至OSS。

    1. 在数据库oss_test中创建InnoDB表t

    2. CREATE TABLE t(a int, b int, c int, primary key(a)) ENGINE = INNODB;
    3. 在表t中插入数据。

    4. INSERT INTO t VALUES (1,2,3);
    5. 通过ALTER命令归档冷数据。

    6. ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';
    7. 集群版本为PolarDB MySQL版8.0.1.1.33版本及以上,或PolarDB MySQL版8.0.2.2.13版本及以上,或多主集群(库表)为PolarDB MySQL版8.0.1.1.15及以上时,使用以下命令:

    8. ALTER TABLE t ENGINE = CSV STORAGE OSS; 
    9. 归档完成后,您可以登录PolarDB控制台查看归档在OSS上的库表信息,或通过SQL语句查看归档表上的数据:

      • 查看归档在OSS上的库表信息:登录PolarDB控制台在目标集群的配置与管理 > 冷数据归档路径下,查看归档在OSS上的库表信息。

      • 查看归档表上的数据:通过SQL语句查看归档表上的数据,而不需要修改表的访问方式。如:

        SELECT * FROM t;

将OSS数据导回至PolarStore

如果您有低频修改归档到OSS上冷数据的需求,您可以通过ALTER ENGINE语法将OSS数据导回至PolarStore进行修改。数据导回至PolarStore后,会同步删除OSS上的冷数据。修改完数据之后,您可以再次将修改后的表归档为OSS表。

  • 语法

    ALTER TABLE table_name ENGINE[=]engine_name;
  • 参数说明

    参数

    参数说明

    table_name

    需要导回的OSS表的表名。

    engine_name

    导回后的引擎类型。

  • 注意事项

    OSS表为只读状态时,不支持执行修改操作(INSERTUPDATEDELETE)。如需修改已经归档的冷数据,您需要将OSS表转换成可读可写的表,如InnoDB表。修改只读状态下的OSS表时,报错信息如下:

    1036 - Table 't1' is read only
  • 示例

    在数据库oss_test中将OSS表t导回至PolarStore。

    ALTER TABLE `oss_test`.`t` ENGINE = InnoDB;

    修改InnoDB表t的数据,修改完数据之后,再次将InnoDB引擎中的表t归档至OSS。示例如下:

    ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

    ALTER TABLE t ENGINE = CSV STORAGE OSS;

阿里云首页 云原生数据库 PolarDB 相关技术圈