文档

存储概览

更新时间:

存储概览主要包括存储,元数据对象的基本信息,还包括存储趋势、存储归档分布,表格式分布,小文件分布等信息,可以方便您快速了解当前存储资源使用情况及问题,并进行优化。

前提条件

存储概览开通

  1. 打开数据湖构建控制台,点击左侧湖管理-存储概览菜单,点击立即启用,开启存储概览功能

重要

  1. 开通湖资产,元数据库的OSS地址将写入文件的统计信息到OSS中,将产生少量存储成本。

  2. 首日开通无统计数据,需要等待第二天数据产出后可查看统计信息。

开通存储概览-立即启用

功能说明

元数据分析

资源总计

  • 总存储量及月/日变化:元数据管理下的表的总存储量(仅包括OSS类型存储,不包括hdfs存储)。

  • 总表数量及月/日变化:元数据管理中所有表的总数量

  • 总库数量级月/日变化:元数据管理中所有库的总数量

  • API月/日访问量:当前月(自然月)的API月访问量

资源总计

趋势变化

存储量、表数量、库数量、API接口趋势的趋势变化图。

您可以按照时间段,选择要查询的时间段。

趋势变化

表/库存储排名

统计表/库所占OSS存储量的大小排名,根据业务需要对排名靠前的表/库进行优化。

表/库存储排名

存储分层分布

可以查看OSS上存储归档的分布情况,OSS存储包括标准存储、低频存储、归档存储、冷归档存储。您可以根据需要对不同业务数据选择合适的存储方式,优化存储成本。

数据湖构建DLF后续还将推出生命周期管理功能,帮助您对湖内数据进行自动归档。目前功能开发中。

存储分层分布

存储格式分布

统计表的存储格式分布情况。

存储格式分布

大小文件分布和排名

统计大小文件分布及排名情况,根据业务情况,针对小文件较多的表进行优化,提高查询性能。

大小文件分布和排名

Location分析

Location存储趋势分析

image

Location请求趋势分析

image

Location存储排名

image

  • 本页导读 (0)