本文为您介绍如何新建采集器,采集Hologres元数据至DataWorks。采集完成后,您可以在数据地图查看数据。
前提条件
在工作空间绑定Hologres引擎后,您才可以进行Hologres元数据采集操作,Hologres引擎绑定详情请参见:绑定Hologres计算引擎。
背景信息
操作步骤
- 登录DataWorks控制台后,进入数据地图页面,操作详情请参见进入首页。
- 在顶部菜单栏,单击数据发现。
- 在左侧导航栏,单击元数据采集 > Hologres。
- 在Hologres元数据采集页面,单击新建采集器。
- 在新建采集器配置向导页面,完成以下操作。
- 配置基本信息。
- 在基本信息页签下,配置各项参数。
参数 描述 采集器名称 采集器的名称,必填且唯一。 采集器描述 对采集器进行简单描述。 工作空间 采集对象所属的DataWorks工作空间。 数据源类型 采集对象的类型,默认为Hologres。 - 单击下一步。
- 在基本信息页签下,配置各项参数。
- 选择采集对象。
- 在选择采集对象页签,选择相应的数据源。
目前仅支持采集已绑定的Hologres实例的元数据。如果没有您需要的数据源,请单击去新建,创建新的数据源。详情请参见配置Hologres数据源。
- 单击测试采集连通性后的开始测试,待显示测试成功,说明已连通DataWorks元数据服务网络。
说明 如果显示测试连通性未通过,则您需要查看具体原因解决相关问题。
- 单击下一步。
- 在选择采集对象页签,选择相应的数据源。
- 配置执行计划。在配置执行计划页签,配置执行计划。执行计划包括按需执行、每月、每周、每天及每小时。根据不同的执行周期,生成不同的执行计划,在相应执行计划的时间内,对目标数据源进行元数据采集。具体如下:
- 按需采集:根据实际业务需求,在业务需要时才会采集Hologres元数据。
- 月采集:即在每月的特定几天,在特定时间点自动采集一次Hologres元数据。
注意 部分月份不包含29、30、31日,请您谨慎选择月末日期。如下图所示,在每月的1、11及21日的09:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。
- 周采集:即在每周的特定几天,在特定时间点自动采集一次Hologres元数据。
如下图所示,在每周的星期一(MON)及星期天(SUN)的03:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。
不输入时间时,则默认在每周指定几天的00:00:00采集。
- 天采集:即在每天特定的时间点自动采集一次Hologres元数据。
如下图所示,在每天的01:00,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。
- 小时采集:即在每小时的第
N*5分钟
自动采集一次Hologres元数据。说明 目前小时周期的采集任务,仅支持选择的周期时间为第5分钟的倍数。如下图所示,在每小时的第5分钟和第10分钟,系统会自动采集一次Hologres元数据。CRON 表达式会根据您的配置自动生成。 - 单击下一步。
- 确认信息。在信息确认页签,确认新建采集器的内容。
- 配置基本信息。
- 确认配置信息无误后,单击确认,成功创建采集器。
- 在Hologres元数据采集页面,您可以查看并管理目标采集器的相关信息。主要操作说明如下:
- 您可以查看相应采集器的运行状态、运行计划、上次运行时间、上次消耗时间、平均运行耗时及上次运行时更新及添加的表数量。
- 单击目标采集器操作列的详情、编辑、删除、运行、停止,执行相应操作:
- 详情:查看该采集器的采集器名称、数据源类型及执行计划。
- 编辑:修改该采集器的信息。
- 删除:删除该采集器。
- 运行:单击运行,即可根据该采集所配置的任务采集数据。仅当执行计划配置为按需执行时,才会生成运行操作,其他周期计划的任务不涉及该操作。
- 停止:停止运行中的采集器。仅运行中状态的采集器会显示该操作按钮。