存储概览主要包括存储,元数据对象的基本信息,还包括存储趋势、存储归档分布,表格式分布,小文件分布等信息,可以方便您快速了解当前存储资源使用情况及问题,并进行优化。
前提条件
已经开通OSS产品。
已经在DLF中完成Location托管。
存储概览开通
打开数据湖构建控制台,点击左侧湖管理-存储概览菜单,点击立即启用,开启存储概览功能
重要
开通湖资产,元数据库的OSS地址将写入文件的统计信息到OSS中,将产生少量存储成本。
首日开通无统计数据,需要等待第二天数据产出后可查看统计信息。
功能说明
元数据分析
资源总计
总存储量及月/日变化:元数据管理下的表的总存储量(仅包括OSS类型存储,不包括hdfs存储)。
总表数量及月/日变化:元数据管理中所有表的总数量
总库数量级月/日变化:元数据管理中所有库的总数量
API月/日访问量:当前月(自然月)的API月访问量
趋势变化
存储量、表数量、库数量、API接口趋势的趋势变化图。
您可以按照时间段,选择要查询的时间段。
表/库存储排名
统计表/库所占OSS存储量的大小排名,根据业务需要对排名靠前的表/库进行优化。
存储分层分布
可以查看OSS上存储归档的分布情况,OSS存储包括标准存储、低频存储、归档存储、冷归档存储。您可以根据需要对不同业务数据选择合适的存储方式,优化存储成本。
数据湖构建DLF后续还将推出生命周期管理功能,帮助您对湖内数据进行自动归档。目前功能开发中。
存储格式分布
统计表的存储格式分布情况。
大小文件分布和排名
统计大小文件分布及排名情况,根据业务情况,针对小文件较多的表进行优化,提高查询性能。
Location分析
Location存储趋势分析
Location请求趋势分析
Location存储排名
文档内容是否对您有帮助?