首页 对象存储 OSS 用户指南 数据湖管理 导出OSS-HDFS服务元数据

导出OSS-HDFS服务元数据

使用元数据导出功能,您可以将已开通OSS-HDFS服务的某个Bucket下的文件元数据清单导出到OSS,格式为JSON文件,方便您对元数据进行统计分析。

前提条件

使用4.6.0及以上版本JindoSDK。下载地址,请参见GitHub

操作步骤

  1. 配置OSS-HDFS服务下Bucket的访问密钥。

    具体操作,请参见通过Jindo CLI命令访问OSS/OSS-HDFS

  2. 导出OSS-HDFS服务的某个Bucket的文件元数据。

    jindo admin -dumpInventory oss://<hdfs_bucket>/

    <hdfs_bucket>填写已开通OSS-HDFS服务的Bucket名称。

    执行以上命令后输出结果如下:

    ============Dump Inventory=============
    Job Id: 2ce40fba-5704-45c4-8720-d92a891d****
    Data Location: oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d****
    .....................................................................................................................
    FINISHED.

    该命令为阻塞命令,大约需要10秒至10分钟,具体用时取决于元数据量的大小。返回结果中显示FINISHED表明已成功导出元数据。

  3. 下载结果文件。

    1. 配置OSS服务下Bucket的访问密钥。

      具体操作,请参见通过Jindo CLI命令访问OSS/OSS-HDFS

    2. 选择以下任意方式下载结果文件。

      • 使用OSS提供的多种方式下载

        您可以通过OSS控制台、图形化管理工具ossbrowser、阿里云SDK、命令行工具ossutil、REST API下载元数据结果文件。更多信息,请参见简单下载

        以ossutil下载元数据结果文件为例:

        ossutil cp oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
      • 通过Hadoop命令下载

        hadoop fs -get oss://<hdfs_bucket>/.dlsdata/.sysinfo/meta_analyze/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** ./
  4. 通过vi或vim命令打开元数据结果文件。

    元数据结果文件示例如下:

    {"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":0,"mtime":1666581702933,"permission":511,"state":1}
    {"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
    {"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
    {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511,"state":0}
    {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660895613953,"permission":511,"state":0}

阿里云首页 对象存储 相关技术圈