元数据采集概览

元数据支持丰富的采集源类型,如传统数据库MySQL、Oracle,大数据存储Hive、Hologres等,可一览不同数据源类型已创建的采集任务、已创建的数据源、采集对象类型和支持的版本。

前提条件

需在元仓租户中开通元数据采集-大数据版功能,才能配置大数据存储类型的数据源的采集任务。

操作步骤

  1. 在Dataphin首页的顶部菜单栏,选择治理 > 元数据

  2. 在左侧导航栏选择元数据采集 > 采集概览

  3. 欢迎使用元数据采集与管理页面,Dataphin以卡片的形式为您展示不同数据源配置的采集任务、已创建的数据源、支持的采集对象类型和数据源版本信息。

    • 关系型数据库:PolarDB-X(原DRDS)、MySQL、SAP HANA、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 3.0、Oracle、IBM DB2。其中,MySQL、Oracle支持的版本如下:

      • MySQLMySQL5.1.43、MySQL5.6/5.7、MySQL8、RDS MySQL。

      • OracleOracle11g、Oracle12c、Oracle18c、Oracle19c、Oracle21c、Oracle23c。

    • 大数据存储数据库:Hive、Hologres、StarRocks。其中,Hive支持的版本如下:

      • Hive:CDH5.x Hive 1.1.0、EMR3.x Hive 2.3.5、EMR5.x 3.1.x、CDH6.x Hive 2.1.1、FusionInsight 8.x Hive 3.1.0、CDP7.x Hive 3.1.3、亚信DP5.x Hive 3.1.0

  4. 您可以对目标数据源快捷创建采集任务。

    新建采集任务:鼠标悬停至卡片可快捷新建采集任务,详情请参见创建及管理元数据采集任务

    说明

    一个数据源仅支持配置一个采集任务,同一个数据源的2个不同环境源(开发环境和生产环境)可分别配置采集任务。