导出OSS-HDFS服务元数据
使用元数据导出功能,您可以将已开通OSS-HDFS服务的某个Bucket下的文件元数据清单导出到OSS,格式为JSON文件,方便您对元数据进行统计分析。
前提条件
使用4.6.0及以上版本JindoSDK。下载地址,请参见GitHub。
操作步骤
配置OSS-HDFS服务下Bucket的访问密钥。
具体操作,请参见通过Jindo CLI命令访问OSS/OSS-HDFS。
导出OSS-HDFS服务的某个Bucket的文件元数据。
jindo admin -dumpInventory oss://<hdfs_bucket>/
<hdfs_bucket>填写已开通OSS-HDFS服务的Bucket名称。
执行以上命令后输出结果如下:
============Dump Inventory============= Job Id: 2ce40fba-5704-45c4-8720-d92a891d**** Data Location: oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ..................................................................................................................... FINISHED.
该命令为阻塞命令,大约需要10秒至10分钟,具体用时取决于元数据量的大小。返回结果中显示
FINISHED
表明已成功导出元数据。下载结果文件。
配置OSS服务下Bucket的访问密钥。
具体操作,请参见通过Jindo CLI命令访问OSS/OSS-HDFS。
选择以下任意方式下载结果文件。
使用OSS提供的多种方式下载
您可以通过OSS控制台、图形化管理工具ossbrowser、阿里云SDK、命令行工具ossutil、REST API下载元数据结果文件。更多信息,请参见简单下载。
以ossutil下载元数据结果文件为例:
ossutil cp oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
通过Hadoop命令下载
hadoop fs -get oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
通过vi或vim命令打开元数据结果文件。
元数据结果文件示例如下:
{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":0,"mtime":1666581702933,"permission":511,"state":1} {"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0} {"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660895613953,"permission":511,"state":0}