DataWorks支持您在数据源管理页面创建与管理数据源,以便您在DataWorks上使用该数据源。例如在配置数据集成同步任务时,通过选择数据源名称来确定同步任务读取与写入的数据库。本文为您介绍如何创建及管理数据源。

背景信息

  • 标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,即测试与生产调度操作的数据源隔离,以保护您生产数据安全。详情请参见数据源开发和生产环境隔离
  • 数据源分为引擎绑定时自动生成的引擎数据源(例如绑定MaxCompute引擎将在数据源管理页面默认新增名为odps_first的数据源),以及您在数据源管理页面通过新增数据源方式添加至DataWorks的外接数据源。

新增数据源

  1. 进入工作空间配置页面
  2. 单击左侧导航栏的数据源管理
  3. 创建数据源。
    您可以单击页面右上角的新增数据源批量新增数据源,新增相应的数据源。
    • 批量新增数据源:目前MySQL、PolarDB、SQLServer、OSS和Oracle数据源支持批量新增数据源。

      您可以下载相应数据源的模板,根据模板中的格式填写内容,选择上传文件进行新建操作,文本框中会显示添加详情。

      模板内容:显示数据源类型、数据源名称、数据源描述、环境类别(0开发、1生产)、链接地址。

    • 新增数据源:在弹出的新增数据源窗口,选择需要新增的数据源类型,各数据源配置详情请参见:支持的数据源列表
      • 开发环境可用的数据源:可以在新建数据同步节点时选择并在开发环境运行,但无法提交到生产环境或在生产环境运行。
      • 生产环境可用的数据源:只允许在生产环境运行时使用,不可以在新建数据同步节点时选择。
      说明 同一个开发环境和生产环境的数据源名称必须一致。

管理数据源

您可以在数据源管理页面,根据数据源类型数据源名称等条件筛选需要查看的数据源。同时,支持您对目标数据源进行编辑删除克隆权限管理等操作。
  • 编辑:您可以单击编辑按钮,在弹出的数据源配置窗口,修改数据源的配置信息。
  • 删除
    • 删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

      如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。请删除同步任务后再删除此数据源。

    • 删除开发环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

      如果生产环境在使用此数据源配置的同步任务,删除后,任务编辑时将不能获取到元数据信息,但生产环境任务可以正常运行。

    • 删除生产环境的数据源:需确认是否存在生产环境关联的同步任务,删除后,在开发环境使用此数据源配置的同步任务将不能提交生产发布。

      如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。

  • 权限管理:您可以分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。详情请参见:管理数据源权限

支持的数据源列表

目前支持的数据源及配置详情如下表所示:
支持的数据源 数据源配置详情
AWS S3 配置AWS S3数据源
AnalyticDB for MySQL 2.0 配置AnalyticDB for MySQL 2.0数据源
AnalyticDB for MySQL 3.0 配置AnalyticDB for MySQL 3.0数据源
AnalyticDB for PostgreSQL 配置AnalyticDB for PostgreSQL数据源
ApsaraDB For Oceanbase 配置ApsaraDB for OceanBase数据源
ClickHouse 配置ClickHouse数据源
DataHub 配置DataHub数据源
Data Lake Analytics(DLA) 配置Data Lake Analytics(DLA)数据源
DB2 配置DB2数据源
DM(达梦) 配置达梦(DM)数据源
DRDS 配置DRDS数据源
Elasticsearch 配置Elasticsearch数据源
FTP 配置FTP数据源
GBase8a 配置GBase8a数据源
Graph Database(GDB) 配置Graph Database数据源
HBase 配置HBase数据源
HDFS 配置HDFS数据源
Hive 配置Hive数据源
Hologres 配置Hologres数据源
HybridDB for MySQL 配置HybridDB for MySQL数据源
Kafka 配置Kafka数据源
KingbaseES(人大金仓) 配置KingbaseES数据源
LogHub(SLS) 配置LogHub(SLS)数据源
MaxCompute 配置MaxCompute数据源
Memcache 配置Memcache(OCS)数据源
MongoDB 配置MongoDB数据源
MySQL 配置MySQL数据源
Oracle 配置Oracle数据源
OSS 配置OSS数据源
PolarDB 配置PolarDB数据源
PostgreSQL 配置PostgreSQL数据源
Redis 配置Redis数据源
RestAPI(HTTP形式) 配置RestAPI数据源
SAP HANA 配置SAPHANA数据源
Sensors Data(神策) 配置Sensors Data数据源
StarRocks 配置StarRocks数据源
SQL Server 配置SQLServer数据源
Table Store(OTS) 配置OTS数据源
Vertica 配置Vertica数据源

后续:基于数据源进行开发工作

您可在DataWorks各模块基于数据源开展开发工作,例如通过数据集成模块同步数据源中的数据,通过数据服务模块快速基于数据源生成API。详情请参见通过向导模式配置离线同步任务通过向导模式生成API