数据库节点

DataWorks支持创建多种数据库节点,以便于SQL任务的开发、周期性调度及与其他作业的集成操作。

前提条件

  • RAM账号添加至对应空间(可选)。

    进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员

  • 创建DataWorks数据源。

  • 进行数据节点开发前,需创建对应数据源的节点。

步骤一:数据库节点开发

  1. 创建好数据库节点后,即可对数据库节点进行开发。

    1. 选择数据源。

      选择数据源选择框内单击image弹出选择数据源弹窗,在弹窗内选择进行任务开发需要使用的数据源。如果没有所需数据源,可单击新增数据源添加相应的数据源。image

      说明
      • 标准模式工作空间下,仅展示已配置开发环境与生产环境的数据源。

      • 数据库节点仅支持对连接串模式创建的数据源进行开发。

    2. SQL脚本开发。

      在SQL编辑区域使用SQL语句创建任务,本文以简单的查询SQL为例。|

      SELECT * FROM you_table_name;  --查询表格。
      SELECT '${var}'; --配置占位符参数。
      说明

      您可以根据配置的数据源支持的语法,编写需要执行的语句。

    3. 配置调试资源组。

      单击调试配置配置下拉计算资源 > DataWorks资源组选择与数据源连通性正常的Serverless资源组。image

      说明

      访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案

    4. 配置调试参数。

      单击调试配置配置在脚本参数模块可对数据库节点的脚本中配置的参数进行赋值。

      image

    5. 完成调试配置后,单击image保存已配置好的SQL节点,然后单击image测试运行SQL脚本,查看SQL脚本是否符合预期。

  2. 完成SQL脚本调试,单击SQL编辑器右侧的调度配置,对该数据库节点进行调度配置。

步骤二:数据库节点发布与运维

  1. 完成调度配置后,即可对已完成的数据库节点提交发布至生产环境。

  2. 发布完成的任务,将按照您配置的任务调度进行周期运行,可在运维中心 > 任务运维 > 周期任务运维 > 周期任务中查看已发布的周期任务,并对任务进行运维操作,详情请参见:运维中心入门

附录:适用数据源

DataWorks支持多种多样的数据源创建数据库节点,以下为支持的数据库节点:

支持创建数据库节点数据源

数据源类型

数据源简介

MySQL

MySQL是用于存储和处理数据的关系型数据库管理系统(RDBMS),是最流行的关系型数据库管理系统之一,其体积小、速度快、总体拥有成本低。更多介绍请参见MySQL

SQL Server

SQL Server是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见SQL Server

Oracle

Oracle是用于存储和处理数据的关系型数据库管理系统(RDBMS),为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见Oracle

PostgreSQL

PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统(RDBMS),具备强大的数据模型、高度可扩展性和稳定性,拥有丰富的核心功能。详情请参见PostgreSQL

StarRocks

StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 能够让用户的数据分析变得更加简单和敏捷。详情请参见StarRocks

DRDS

DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统,支持海量数据存储和访问,同时维护关系型数据库(例如,MySQL)的原有特性。详情请参见产品概述

PolarDB MySQL

PolarDB MySQL版是阿里巴巴自研的新一代云原生数据库,在计算存储分离架构下,利用了软硬件结合的优势,为您提供高弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,高度兼容Oracle语法。详情请参见什么是PolarDB MySQL企业版

PolarDB Postgresql

云原生数据库PolarDB PostgreSQL版是阿里云完全自主研发的云原生关系型数据库产品,100%兼容 PostgreSQL,高度兼容Oracle语法。为您提供快速弹性、高性能、海量存储、安全可靠的数据库服务,同时支持阿里云自研Ganos多维多模时空信息引擎及开源PostGIS地理信息引擎。详情请参见什么是PolarDB PostgreSQL企业版

Doris

Apache Doris是一个高性能、实时的分析型数据库,能较好地满足报表分析、即席查询、数据湖联邦查询加速等使用场景。详情请参见Doris介绍

Mariadb

MariaDB是一种开源的关系型数据库管理系统(RDBMS),与MySQL高度兼容。它可以无缝替代MySQL,您在卸载MySQL后,无需变更应用程序代码,即可在原MySQL的位置上安装MariaDB使用。更多介绍,请参见MariaDB

Selectdb

SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库,聚焦于满足企业级大数据实时分析需求,为您提供极致性价比、简单易用的数据分析服务。更多介绍,请参见SelectDB

Redshift

Amazon Redshift是云平台的一种完全托管的PB级数据仓库服务。您无需对预置数据仓库执行任何配置操作,便可通过Amazon Redshift Serverless访问及分析数据。更多介绍请参见Amazon Redshift

Saphana

SAP HANA是一个高性能的内存数据库和应用平台,结合了数据库、数据处理和应用平台功能,以提供企业级内存计算的能力。更多介绍请参见SAP HANA

Vertica

Vertica是一个高性能的列式存储数据库管理系统(DBMS),可高速处理和查询大规模数据集,主要用于大数据分析和实时查询。更多介绍请参见Vertica官网

DM

达梦(DM)是集成在业务系统中的OLTP类型数据库,它融合了分布式、弹性计算与云计算的优势,具有灵活、易用、可靠、高安全等特点。更多介绍请参见达梦(DM)官网

KingbaseES

KingbaseES是一个大型关系型数据库管理系统(RDBMS),支持SQL标准,适合于处理大量数据、要求高并发和高可用性的企业级应用场景。更多介绍请参见KingbaseES官网

OceanBase

OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库,具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点。更多介绍请参见什么是OceanBase

DB2

DB2是一款关系型数据库管理系统(RDBMS),用于存储、检索及管理数据,适用于处理高吞吐量、大数据集以及数据仓库的复杂查询和事务处理。更多介绍请参见DB2官网

Gbase8a

GBase 8a是一款关系型数据库管理系统(RDBMS),支持大数据量存储和高并发读写能力,通常用于政府、金融、电信、能源等领域。GBase 8a支持SQL标准,并提供了一系列的企业级功能(例如,数据分区、负载均衡、灾备备份等)。更多介绍请参见GBase 8a官网

说明

应用于数据库节点的数据源在创建时均需以JDBC连接串形式创建数据源。