元数据采集

元数据采集概述

支持的数据源及元数据采集方式

使用限制

• 仅支持对当前登录账号所属的工作空间中已配置的数据源，进行元数据采集操作。如果您需要采集其他工作空间中数据源的元数据信息，您可以联系空间管理员添加空间成员，详情请参见为工作空间添加空间成员。

• 当您需要采集已开启白名单访问控制的数据源的元数据时，则需要提前配置好数据库的白名单权限。详情请参见元数据采集的数据源有白名单访问控制时需要配置的白名单。

• DataWorks目前不建议跨地域采集元数据，即DataWorks所在的地域需要与数据源所在的地域相同。如需跨地域采集元数据，请在新建数据源时使用公网地址。详情请参见创建并管理数据源。

• 暂不支持使用MySQL元数据采集器来采集OceanBase数据源。

功能入口

1. 进入数据地图。

2. 在左侧菜单栏，单击元数据采集。

   您可以在数据发现页面，切换数据源视角和工作空间视角，按照不同的视角来查看或管理元数据采集的情况。

   • 数据源视角为您展示当前账号所属工作空间中已配置的数据源，您可基于数据源维度管理数据采集器。

   • 工作空间视角下，您可基于当前账号所属工作空间维度，对工作空间下已配置的各数据源的元数据采集器进行管理。对于工作空间下无数据源的情况，支持您单击新建数据源，进入数据源配置页面，创建数据源。

查看元数据采集器

• 整体统计

  在元数据采集页面，您可以切换数据源视角和工作空间视角，查看元数据采集总览，主要为您展示已创建采集器的数据库数量。

• 明细列表

  您还可以单击目标数据源类型或目标工作空间右上角的管理按钮，进入采集明细页面，查看相应采集器的运行状态、执行计划、上次运行时间、上次消耗时间、平均运行耗时及上次运行时更新及添加的表数量。

管理元数据采集器

单击目标数据源或工作空间右上角的管理按钮，默认进入已采集列表，您可以对已有采集器进行如下操作。

运行元数据采集器

支持您手动运行元数据采集器，您可以根据业务需要在已采集列表页面找到目标数据源单击操作列的运行，即可执行一次元数据采集。

修改元数据采集器的执行计划

移除元数据采集器

支持您在已采集列表页面找到目标数据源单击操作列的移除，移除当前数据源的元数据采集器。移除后该数据源将会进入未采集列表，不再进行元数据采集。

创建元数据采集器

新建数据源或注册集群后，您可以进入数据地图中开启元数据采集，在已采集列表中查看目标数据源的元数据采集情况。

移除元数据采集器后，如果后续您需要重新启动采集，支持您在未采集列表中重新创建元数据采集器，以下是详细的操作步骤。

1. 单击列表顶部的未采集列表。

2. 找到目标数据源，单击操作列的元数据采集，在弹出来的配置采集计划框中配置各项参数。

   说明

   不同数据源配置采集计划界面可能存在差异，请以产品界面为准。

   

   参数	描述
   资源组名称	选择已与数据源网络连通的资源组。数据地图支持您选择如下3种资源组，您可根据需求选取： 默认资源组default。 您自己的独享调度资源组。 您自己的独享数据集成资源组。
   连通性测试	选择完资源组名称后，如果您想再次测试资源组与数据源的连通性，您可以单击测试连通性进行验证。如果显示测试连通性未通过： 请确认数据源是否开启了白名单限制，如果需要采集已开启白名单访问控制的元数据，请参考元数据采集的数据源有白名单访问控制时需要配置的白名单配置白名单权限。 如果数据源未开启白名单限制，请参考资源组操作及网络连通文档进行数据源网络打通。
   采集计划	包括手动采集、每月、每周、每天及每小时。根据不同的执行周期，生成不同的执行计划，在相应执行计划的时间内，对目标数据源进行元数据采集。 手动采集：根据实际业务需求，在业务需要时手动触发元数据的采集和更新。 月采集：即在每月所指定日期的指定时间点自动采集一次元数据。 重要 部分月份不包含29、30、31日，请您谨慎选择月末日期。 周采集：即在每周所指定日期的指定时间点自动采集一次元数据。 不输入时间时，则默认在每周指定几天的00:00:00采集。 天采集：即在每天特定的时间点自动采集一次元数据。 小时采集：即在每小时的第N分钟自动采集一次元数据。

3. 确认配置信息无误后，单击确认。

   系统会根据配置的采集计划，进行元数据采集，如果是手动采集，您可以根据实际业务需求，在业务需要时进入已采集列表，找到目标数据源，单击操作列的运行，即可手动执行采集任务。