快速配置存储优化策略

本文为您介绍在数据湖构建中如何快速配置存储优化策略。

重要

开通存储优化不收费。启用存储优化策略后,使用自有计算资源时,相应的计算资源产品会收费。

策略说明

系统支持以下四种存储优化策略,您可按需使用。

  • Compaction:根据调度配置,定期将小文件合并,提高存储访问性能。

  • 过期快照清理(Snapshot Expire):根据快照保留时间,清理较老快照,同时清理这些快照独占的数据文件,降低存储成本。

  • 过期分区清理(Partition Expire):根据分区保留时间,过期后把分区删除掉,降低存储成本。

  • 废弃文件清理(Orphan File Remove):根据废弃文件保留时间,自动进行清理,降低存储成本。废弃文件比如前述过期遗留的一些文件,或是因为写数据作业失败导致遗留的一些碎片。

操作步骤

  1. 登录数据湖构建控制台

  2. 进入需进行优化资源的存储优化页面,资源可以是Catalog、数据库、数据表。

  3. 单击相应策略旁的image按钮,启用相应的存储优化策略。

    说明

    第一次启用存储优化策略时,需要开通存储优化服务。

  4. 选择计算资源。如果没有计算资源,需要先添加计算资源,目前系统支持添加全托管版Flink。

  5. 单击确定,启用成功后,策略状态变为image

  6. 您可以单击立即执行,也可单击调度配置,调度执行。

    执行成功后,可以在优化效果最新执行历史中查看优化结果。