文档

数据源管理概述

更新时间:

在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入到已接入的数据源中。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,如MySQL、Oracle等。

权限说明

仅支持具备创建数据源权限点的自定义全局角色和超级管理员数据源管理员板块架构师项目管理员角色创建数据源。

功能介绍

  • 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见Dataphin支持的数据源

  • 自定义数据源类型:在内置的数据源类型中,未有所需接入的数据源类型时,您可自定义离线或实时数据源类型,并将自定义的数据源对接到Dataphin,以满足不同的数据源接入需求。具体操作,请参见:

  • 生产与开发数据源:Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境,读写生产数据源;Dev-Prod项目的Dev环境,读写开发数据源。

  • 数据源标签:对于同类型或同业务的数据源。您可以通过自定义标签方式将数据源进行按需归类,有效管理数据源。

    说明

    同步任务不支持生产开发双环境,同步任务中的数据源读写均为生产数据源。

数据源管理入口

在Dataphin首页,单击顶部菜单栏管理中心->数据源管理

image

查看数据源列表

数据源创建完成后,您可在数据源列表执行查看、编辑和删除等操作。

image

区域

说明

功能区

  • 我负责人的:勾选后将筛选当前登录账号负责的数据源,

  • 搜索:您可以输入数据源的名称进行模糊搜索。

  • 筛选:单击image.png支持根据数据源类型数据源标签负责人筛选数据源。

  • 管理标签:Dataphin支持数据源的标签管理,以支持您可以通过业务场景划分数据源进行管理。如需创建,请参见管理数据源标签

  • 新建数据源:若您需要新建数据源。具体操作,请参见Dataphin支持的数据源

  • 刷新:单击image.png可以刷新当前数据源。

数据源卡片

Dataphin以卡片的方式为您展示已经创建的数据源。包括名称、类型、应用场景、标签、负责人、描述、更新时间、链接信息等详情。同时,您可以对数据源进行查看应用场景查看创建用户/创建时间查看连接信息测试连接编辑转交负责人删除操作。

  • 查看应用场景:鼠标悬停至数据源类型后的image应用场景图标可以查看数据源支持的应用场景。

  • 编辑:您可以单击开发或生产数据源右上角的编辑按钮,修改数据源描述和链接信息;您也可以单击单个数据源卡片右上角的编辑按钮,修改整个数据源的名称、标签或配置数据源编码。

    说明

    数据源编码配置成功后,不支持修改。

  • 转移负责人:在转移负责人对话框,选择负责人,单击确定后,即可转交数据源的负责人给其他Dataphin成员。

  • 删除:您可单击开发或生产数据源右上角的删除按钮,删除开发环境的数据源或生产环境的数据源;您也可以单击单个数据源卡片右上角的删除按钮,删除整个数据源。数据源删除后不可撤销,请谨慎操作。

    重要
    • 删除数据源时,系统将自动校验当前数据源在Dataphin中的引用状态,存在引用对象时,建议您请先删除依赖此数据源的对象。若强行删除,请谨慎操作,删除后不可撤销。

    • 删除数据源时,系统不会检测分析平台中的SQL查询及Notebook文件依赖。建议您请先检查分析平台中的SQL查询及Notebook文件是否存在依赖再进行删除操作。

  • 查看创建用户/创建时间:鼠标悬停至更新时间后的image查看图标可查看数据源的创建人和创建时间。

  • 查看连接信息:您可以单击连接信息后的查看,查看连接信息或进行复制。

  • 测试连接:您可以单击连接信息后的测试,在测试网络连接对话框中,测试公共调度集群自定义集群与数据源的连通性。

批量操作区

您可单击开启批量删除模式,选择需删除的数据源,进行批量删除。