元数据采集

MaxCompute 默认采集器

用于采集您账号下MaxCompute项目的元数据。您可以进入详情页，通过修改数据范围来选择需要采集的项目，并通过权限配置来设置元数据在租户内的可见性。

1. 在元数据采集页面的系统内置区域，找到 MaxCompute Default Crawler 卡片，单击详情。

2. MaxCompute Default Crawler详情页包含基本信息和数据范围两个标签页。

   • 基本信息：展示采集器的基础属性，如采集类型、方式等，此处信息为只读。

   • 数据范围：管理此采集器要采集哪些MaxCompute项目。

3. 修改采集范围：

   1. 切换到数据范围页签，单击修改数据范围按钮。

   2. 在弹出的对话框中，勾选或取消勾选您希望采集的MaxCompute项目。

      重要

      默认范围为本租户下当前地域下绑定到工作空间的所有MaxCompute项目。修改数据范围后，在数据地图中采集的元数据对象和当前数据范围保持一致，即未勾选的元数据将不可见。

   3. 单击确定保存更改。

4. 配置元数据可见性：

   • 在数据范围列表中，找到目标项目，单击其操作列下的权限配置。

   • 根据您的数据治理要求，选择可见性策略：

     • 租户内公开：租户内所有成员都可以搜索和查看该项目的元数据。

     • 仅关联的工作空间下的成员可搜索和查看：只有特定工作空间的成员才能访问该项目的元数据，保障数据的隔离性。

DLF 默认采集器

DLF Default Crawler采集器用于采集您账号下DLF（Data Lake Formation）中的元数据。

1. 在元数据采集页面的系统内置区域，找到 DLF Default Crawler 卡片，单击详情查看基本信息。

2. 切换到数据范围页签，查看当前已纳入采集范围的DLF Catalog列表及其包含的表数量。

   默认会采集所有可访问的Catalog（包含DLF以及DLF-Legacy版本）。

创建自定义采集器

1. 在元数据采集页面的自定义采集器列表区域，单击新建元数据采集。

2. 选择采集类型：在类型选择页面，选择要采集的目标数据源类型，例如Hologres、StarRocks等。

3. 配置基础与资源组：

   • 基础配置：

     • 选择工作空间：选择采集数据源所在的工作空间。

     • 选择数据源：从下拉列表中选择一个已创建好的目标数据源。选择后，系统会自动展示该数据源的详细信息。

     • 名称：为采集器命名，以便后续识别。默认和数据源同名。

   • 资源组配置：

     • 资源组：选择一个用于执行采集任务的 Serverless 资源组。

     • 测试连通性：此步骤至关重要。单击测试连通性，确保资源组可以成功访问数据源。

       重要

       • 请确认数据源是否开启白名单限制，如果需要采集已开启白名单访问控制的元数据，请参考网络连通方案概述和通用配置：添加白名单配置白名单权限。

       • 如果数据源未开启白名单限制，请参考资源组操作及网络连通文档进行数据源网络打通。

       • 如遇连通性测试报错：后端服务调用失败：test connectivity failed.not support data type，请联系技术支持对资源组进行升级。

4. 配置元数据采集：

   • 采集范围：定义需要采集的数据库（Database/Schema）。若数据源为数据库粒度，默认选中数据源对应的数据库，可支持选择数据源之外的更多数据库。

     重要

     • 同一个数据库仅支持配置在一个采集器中，若不可勾选数据库，则表示该数据库已被其他采集器采集。

     • 当缩小采集范围后，数据地图中将搜索不到采集范围外的元数据。

5. 配置智能增强与采集计划：

   • 智能增强配置 (Beta)：

     • AI采集描述：开启后，系统将利用大模型能力，在采集元数据后，为您的表和字段自动生成业务描述，极大提升元数据可读性和易用性。可在采集完毕之后，进入数据地图表对象的详情页查看AI智能生成的信息（例如，表说明、字段描述）。

   • 采集计划：

     • 触发方式：选择手动或周期。

       • 手动：采集器仅在您手动触发时运行，适用于一次性或按需采集的场景。

       • 周期：配置定时任务（如每月、每日、每周、每小时），系统将自动周期性地更新元数据。

         若需要配置分钟级定时任务，采集周期选择每小时，并勾选所有分钟粒度，可实现每5分钟的定时任务。

         重要

         仅生产环境数据源支持周期采集方式。

6. 保存配置：单击保存或保存并运行，完成采集器的创建。

管理自定义采集器

采集器创建后，会出现在自定义列表中，您可以进行如下管理操作：

• 列表操作：在列表中，您可以直接对采集器进行运行、停止、删除等操作。通过顶部的筛选和搜索功能，可以快速定位目标采集器。

  重要

  删除元数据采集器后，该采集器在数据地图中采集的元数据对象也将失效，用户将无法搜索、查看来自于该采集器的对象及详细信息。请谨慎操作！

• 批量操作：在采集器列表页勾选多个采集器后，可使用列表底部的批量运行或批量停止，一次性触发或终止多个采集任务，提升管理效率。

• 采集器状态：采集器列表中会展示每个采集器的当前状态，常见状态包括未运行、等待中、运行中、运行成功、运行失败、手动终止。

  说明

  若采集器关联的数据源已被解绑或失效，采集器会进入冻结状态。冻结状态下的采集器不允许运行，仅允许删除。

• 查看详情与日志：单击目标采集器名称，进入其详情页。

  • 基本信息：查看采集器的所有配置项。

  • 数据范围：查看或修改数据范围。

    未采集时查看，表数量和最近更新时间将显示为空。

    以下数据源不支持修改范围：EMR Hive、CDH Hive、Lindorm、ElasticSearch、OTS、MongoDB以及 AnalyticDB MySQL中的AnalyticDB for Spark。

  • 运行日志：跟踪每一次采集任务的执行历史。您可以查看任务的开始时间、耗时、状态和采集的数据量。当任务失败时，单击查看日志是定位和解决问题的关键入口。

• 手动执行采集：在详情页右上角，单击采集元数据按钮，可以立即触发一次采集任务。适用于在新表创建后希望立刻在数据地图中看到它的场景。

数据表

任务代码

数据地图支持任务代码搜索与快速定位，以下为支持搜索的代码范围说明。

API资产

数据地图支持查看数据服务API的元数据，具体如下：

AI资产

数据地图支持查看与管理AI资产，并提供AI资产血缘功能用于追踪数据和模型的来源、使用及演变过程，以下为各AI资产的支持情况。

工作空间

数据地图支持查看工作空间元数据，具体如下：