本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能,您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS,格式为JSON文件,方便您对元数据进行统计分析。
元数据导出说明
配置Jindo命令行工具,应配置对应OSS-HDFS Bucket的访问密钥,详情请参见通过Jindo CLI命令访问OSS/OSS-HDFS。
执行导出命令。
jindo admin -dumpInventory oss://<hdfs_bucket>/
。可以观察到输出路径。
============Dump Inventory============= Job Id: 2ce40fba-5704-45c4-8720-d92a891d**** Data Location: oss://<oss_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ..................................................................................................................... FINISHED.
说明该命令为阻塞命令,需要耐心等待,等待时间与元数据量大小有关,直至输出
FINISHED
表示导出成功。即使中断命令,本次导出任务仍将在后台执行,直到完成导出。您可以稍后查询Data Location指定的文件是否已生成,如果已生成,则表示导出已完成。
您可以通过以下方式下载结果文件。
通过Jindo CLI命令访问OSS/OSS-HDFS(请配置普通OSS的KEY,非OSS-HDFS)。
使用ossutil,代码如下。
ossutil cp oss://<oss_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
使用Hadoop的fs命令。
在OSS控制台页面,下载结果文件。
下载结果文件到本地后,使用vi或vim命令打开即可。
参考结果示例
{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":0,"mtime":1666581702933,"permission":511,"state":1}
{"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660895613953,"permission":511,"state":0}
文档内容是否对您有帮助?