元数据支持丰富的采集源类型,如传统数据库MySQL、Oracle,大数据存储Hive、Hologres、应用系统等,可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。
前提条件
需先在管理中心 > 数据源管理 > 应用系统创建应用系统,才能使用应用系统类型的采集源。
使用限制
默认支持关系型数据库的元数据采集,如需采集其他类型数据源,需购买元数据采集-大数据版、元数据管理或元数据中心整体模块。
当元仓租户的引擎为MaxCompute、Hadoop或星环TDH 9.3.x时,默认支持ClickHouse、OceanBase、Greenplum数据源及Quick BI应用系统的元数据采集,如需采集其他数据源,需在元仓租户中完成元数据中心初始化配置,详情请参见元数据中心设置;若元仓租户的引擎为其他类型的引擎时,仅支持ClickHouse、OceanBase、Greenplum数据源及Quick BI应用系统的元数据采集。
元数据采集工作流说明
若采集的数据源网络环境与Dataphin集群所在网络环境不通,需要依赖注册调度集群功能,并将采集数据写入到Dataphin部署依赖的对象存储系统(如OSS)作中转,再将数据写入Dataphin系统,此时会产生额外的存储费用。
操作步骤
在Dataphin首页的顶部菜单栏,选择治理 > 元数据。
在左侧导航栏选择元数据采集 > 采集概览。
在欢迎使用元数据采集与管理页面,Dataphin以卡片的形式为您展示不同数据源或应用系统配置的采集任务数、支持的采集对象类型等信息。
关系型数据库:支持PolarDB-X(原DRDS)、MySQL、SAP HANA、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 3.0、Oracle、IBM DB2。其中,MySQL、Oracle支持的版本如下:
MySQL:MySQL5.1.43、MySQL5.6/5.7、MySQL8、RDS MySQL。
Oracle:Oracle11g、Oracle12c、Oracle18c、Oracle19c、Oracle21c、Oracle23c。
大数据存储数据库:支持Hive、Hologres、StarRocks。其中,Hive支持的版本如下:
Hive:CDH5.x Hive 1.1.0、EMR3.x Hive 2.3.5、EMR5.x 3.1.x、CDH6.x Hive 2.1.1、FusionInsight 8.x Hive 3.1.0、CDP7.x Hive 3.1.3、亚信DP5.x Hive 3.1.0。
应用系统:支持Quick BI。
您可以对目标数据源或应用系统快捷创建采集任务。
新建采集任务:鼠标悬停至卡片可快捷新建采集任务,详情请参见创建及管理元数据采集任务。
说明一个数据源仅支持配置一个采集任务,同一个数据源的2个不同环境源(开发环境和生产环境)可分别配置采集任务。