阿里云OSS-HDFS服务(JindoFS服务)元数据导出使用说明(试用)

本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能,您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS,格式为JSON文件,方便您对元数据进行统计分析。

元数据导出说明

  1. 配置Jindo命令行工具,应配置对应OSS-HDFS Bucket的访问密钥,详情请参见通过Jindo CLI命令访问OSS/OSS-HDFS

  2. 执行导出命令。

    jindo admin -dumpInventory oss://<hdfs_bucket>/

    可以观察到输出路径。

    ============Dump Inventory=============
    Job Id: 2ce40fba-5704-45c4-8720-d92a891d****
    Data Location: oss://<oss_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d****
    .....................................................................................................................
    FINISHED.
    说明
    • 该命令为阻塞命令,需要耐心等待,等待时间与元数据量大小有关,直至输出FINISHED表示导出成功。

    • 即使中断命令,本次导出任务仍将在后台执行,直到完成导出。您可以稍后查询Data Location指定的文件是否已生成,如果已生成,则表示导出已完成。

  3. 您可以通过以下方式下载结果文件。

    • 通过Jindo CLI命令访问OSS/OSS-HDFS(请配置普通OSS的KEY,非OSS-HDFS)。

    • 使用ossutil,代码如下。

      ossutil cp oss://<oss_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
    • 使用Hadoop的fs命令。

    • 在OSS控制台页面,下载结果文件。

  4. 下载结果文件到本地后,使用vivim命令打开即可。

参考结果示例

{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":0,"mtime":1666581702933,"permission":511,"state":1}
{"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
{"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660895613953,"permission":511,"state":0}