数据地图

DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块,元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用Hologres数据。本文为您介绍如何在数据地图中配置Hologres元数据采集器及相关操作。

使用限制

  • 仅Hologres V1.1及以上版本支持使用数据地图功能,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?

  • 在数据地图中配置Hologres元数据采集器一个小时后才能看到血缘信息。

  • 仅在如下地域提供数据血缘服务。

    华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国(香港)、新加坡。

元数据采集与接入

您需要通过元数据采集功能将Hologres数据源中的元数据导入数据地图进行统一管理,步骤如下。采集完成后,您可以在数据地图搜索并查看Hologres数据源的元数据信息。

  1. 登录DataWorks控制台后,进入数据地图页面,操作详情请参见进入数据地图
  2. 在顶部菜单栏,单击数据发现
  3. 在左侧导航栏,单击元数据采集 > Hologres
  4. Hologres元数据采集页面,单击新建采集器
  5. 新建采集器配置向导页面,完成以下操作。
    1. 配置基本信息。
      1. 基本信息页签下,配置各项参数。新建Hologres采集器
        参数描述
        采集器名称采集器的名称,必填且唯一。
        采集器描述对采集器进行简单描述。
        工作空间采集对象所属的DataWorks工作空间。
        数据源类型采集对象的类型,默认为Hologres
      2. 单击下一步
    2. 选择采集对象。
      1. 选择采集对象页签,选择相应的数据源

        目前仅支持采集已绑定的Hologres实例的元数据。如果没有您需要的数据源,请单击去新建,创建新的数据源。详情请参见配置Hologres数据源

      2. 单击测试采集连通性后的开始测试,待显示测试成功,说明已连通DataWorks元数据服务网络。
        说明 如果显示测试连通性未通过,则您需要查看具体原因解决相关问题。
      3. 单击下一步
    3. 配置执行计划。
      配置执行计划页签,配置执行计划
      执行计划包括按需执行每月每周每天每小时。根据不同的执行周期,生成不同的执行计划,在相应执行计划的时间内,对目标数据源进行元数据采集。具体如下:
      • 按需采集:根据实际业务需求,在业务需要时才会采集Hologres元数据。
      • 月采集:即在每月的特定几天,在特定时间点自动采集一次Hologres元数据。
        重要 部分月份不包含29、30、31日,请您谨慎选择月末日期。
        如下图所示,在每月的1、11及21日的09:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。月采集
      • 周采集:即在每周的特定几天,在特定时间点自动采集一次Hologres元数据。
        如下图所示,在每周的星期一(MON)及星期天(SUN)的03:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。周采集不输入时间时,则默认在每周指定几天的00:00:00采集。
      • 天采集:即在每天特定的时间点自动采集一次Hologres元数据。
        如下图所示,在每天的01:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。天采集
      • 小时采集:即在每小时的第N*5分钟自动采集一次Hologres元数据。
        说明 目前小时周期的采集任务,仅支持选择的周期时间为第5分钟的倍数。
        如下图所示,在每小时的第5分钟和第10分钟,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。小时采集
      • 单击下一步
    4. 确认信息。
      信息确认页签,确认新建采集器的内容。
  6. 确认配置信息无误后,单击确认,成功创建采集器。
  7. Hologres元数据采集页面,您可以查看并管理目标采集器的相关信息。查看Hologres采集器
    主要操作说明如下:
    • 您可以查看相应采集器的运行状态运行计划上次运行时间上次消耗时间平均运行耗时及上次运行时更新及添加的表数量。
    • 单击目标采集器操作列的详情编辑删除运行停止,执行相应操作:
      • 详情:查看该采集器的采集器名称数据源类型执行计划
      • 编辑:修改该采集器的信息。
      • 删除:删除该采集器。
      • 运行:单击运行,即可根据该采集所配置的任务采集数据。仅当执行计划配置为按需执行时,才会生成运行操作,其他周期计划的任务不涉及该操作。
      • 停止:停止运行中的采集器。仅运行中状态的采集器会显示该操作按钮。

其他操作

  • 数据总览

    您可以在数据总览页面查看当前地域(Region)下配置了数据采集器的Hologres数据库统计信息和表信息,进入数据总览详细步骤请参见数据总览数据总览

  • 查找表

    数据地图支持通过表名,表描述、字段名及字段描述等搜索表,同时还可以通过表所在类目,项目或数据库进行表过滤。查找表详细步骤请参见查找表查找表

  • 查看表详情

    您可以单击目标表名称跳转至表详情页面,查看表的基础信息、产出信息和血缘信息等表的详情信息。查看表详情步骤请参见查看表详情

    • 您可以在此处查看表的元数据信息。元数据信息

    • 您可以在此处查看表血缘和字段血缘信息。血缘信息