归档为CSV或ORC格式

冷数据归档执行的是表归档操作，执行冷数据归档操作后的表称为归档表（只读），归档表的引擎为OSS引擎，归档表的数据文件存储在OSS上。执行冷数据归档操作后，原来本地表在PolarStore上占用的空间将被释放。

• 语法

  • 归档为CSV格式的文件：

    ALTER TABLE table_name ENGINE = CSV CONNECTION = 'default_oss_server';

    当集群版本为PolarDB MySQL版8.0.1.1.33版本及以上，或PolarDB MySQL版8.0.2.2.13版本及以上，或多主集群（库表）为PolarDB MySQL版8.0.1.1.15及以上时，除上述语法外，还支持使用以下语法来手动归档冷数据：

    ALTER TABLE table_name ENGINE = CSV STORAGE OSS;

  • 归档为ORC格式的文件：

    ALTER TABLE table_name ENGINE = ORC STORAGE OSS;

  说明

  如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件，系统会报文件已经存在的错误。例如：

  Target file for archived table exists on oss.

  您可以在以上三个语法中通过添加FORCE关键字来覆盖OSS对象存储中已经存在的数据文件。以归档为CSV格式为例，添加FORCE关键字的语法如下：

  ALTER TABLE table_name ENGINE = CSV CONNECTION = 'default_oss_server' , FORCE;

• 参数说明

参数	说明
table_name	需要归档到OSS对象存储中的表名。

• 注意事项

  • 支持对InnoDB引擎和X-Engine引擎上的表使用冷数据归档功能。

  • 冷数据归档过程中不支持对表进行修改（DDL和DML）。

  • 冷数据归档功能不支持将数据文件归档到用户自建的OSS Server中。

  • 对InnoDB引擎中的表使用冷数据归档功能时，执行冷数据归档操作的表中必须有主键。

  • 冷数据归档完成后，OSS上的归档表只读，且查询性能较差。您需要提前测试数据归档后是否能满足您的查询性能要求。

• 示例

  将表t中的数据以CSV或ORC格式归档至OSS。

  1. 在数据库oss_test中创建InnoDB表t。

  CREATE TABLE t(a int, b int, c int, primary key(a)) ENGINE = INNODB;

  2. 在表t中插入数据。

  INSERT INTO t VALUES (1,2,3);

  3. 通过ALTER命令归档冷数据。

     • 归档为CSV格式：

       ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

       集群版本为PolarDB MySQL版8.0.1.1.33版本及以上，或PolarDB MySQL版8.0.2.2.13版本及以上，或多主集群（库表）为PolarDB MySQL版8.0.1.1.15及以上时，使用以下命令：

       ALTER TABLE t ENGINE = CSV STORAGE OSS; 

     • 归档为ORC格式：

       ALTER TABLE t ENGINE = ORC STORAGE OSS;

  4. 归档完成后，您可以登录PolarDB控制台查看归档在OSS上的库表信息，或通过SQL语句查看归档表上的数据：

     • 查看归档在OSS上的库表信息：登录PolarDB控制台。在目标集群的配置与管理 > 冷数据归档路径下，查看归档在OSS上的库表信息。

     • 查看归档表上的数据：通过SQL语句查看归档表上的数据，而不需要修改表的访问方式。例如：

       SELECT * FROM t;

归档分区表是对表的分区进行归档，归档后的表为混合分区表，归档后分区的数据文件保存在OSS上。执行完归档操作后，分区在PolarStore上占用的空间会自动释放。

• 语法

  • 归档为CSV格式的文件：

    ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV;

  • 归档为ORC格式的文件：

    ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = ORC;

  说明

  如果OSS对象存储中存在与归档的数据文件名称冲突的数据文件，系统会报文件已经存在的错误。例如：

  Target file for archived table exists on oss.

  您可以在以上三个语法中通过添加FORCE关键字来覆盖OSS对象存储中已经存在的数据文件。以归档为CSV格式为例，添加FORCE关键字的语法如下：

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV FORCE;

• 参数说明

  参数	说明
  table_name	需要归档到OSS对象存储中的表名。
  part_name	需要归档到OSS对象存储中的分区名。

• 注意事项

  • 仅支持对InnoDB引擎上的分区表使用冷数据归档功能。

  • 对分区表执行分区归档操作时，至少保留一个分区在InnoDB引擎上，即无法对最后一个InnoDB引擎上的分区执行冷数据归档操作。

  • 归档后的表为混合分区表，不支持对混合分区表执行DDL操作。使用时的注意事项详情请参见创建混合分区。

  • 暂不支持对归档后的分区数据进行修改。

  • 暂不支持对分区表中的二级分区执行冷数据归档操作。

  • 暂不支持对LIST DEFAULT HASH分区表的DEFAULT分区执行冷数据归档操作。

  • 暂不支持对HASH或KEY类型的分区表执行冷数据归档操作。

  • 暂不支持对整张分区表执行手动归档冷数据操作。

  • 归档分区中的数据时，若OSS上存在同名文件，则会执行失败并报类似如下错误信息：

    Target file for archived table exists on oss.

    您需要执行以下命令来覆盖OSS上已存在的文件。执行命令时请根据实际情况替换table_name和part_name。

    ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV/ORC FORCE;

• 示例

  将表t中p1和p2分区上的数据以CSV格式归档至OSS。

  1. 在数据库中创建InnoDB表t。

     CREATE TABLE t(a int, b int, c int, primary key(a))
     PARTITION BY RANGE(a)
     (PARTITION p1 values less than(100),
      PARTITION p2 values less than(200),
      PARTITION p3 values less than MAXVALUE
     );

  2. 在表t中插入数据。

     INSERT INTO t VALUES(1,1,1);
     INSERT INTO t VALUES(10,10,10);
     INSERT INTO t VALUES(100,100,100);
     INSERT INTO t VALUES(150,150,150);
     INSERT INTO t VALUES(200,200,200);
     INSERT INTO t VALUES(1000,1000,1000);

  3. 执行以下命令，将p1和p2分区上的数据归档至OSS引擎。

     • 归档为CSV格式：

       ALTER TABLE t CHANGE PARTITION p1 ENGINE = csv;
       ALTER TABLE t CHANGE PARTITION p2 ENGINE = csv;

     • 归档为ORC格式：

       ALTER TABLE t CHANGE PARTITION p1 ENGINE = ORC;
       ALTER TABLE t CHANGE PARTITION p2 ENGINE = ORC;

  4. 归档完成后，您可以登录PolarDB控制台查看归档在OSS上的库表信息，或通过SQL语句查询混合分区表中的数据：

  • 查看归档在OSS上的库表信息：登录PolarDB控制台。在目标集群的配置与管理 > 冷数据归档路径下，查看归档在OSS上的库表信息。

  • 查询混合分区表中的数据：操作详情请参见查询混合分区。