MySQL节点

DataWorks的MySQL节点可进行MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用MySQL节点进行任务开发的主要流程。

前提条件

  • 已创建业务流程。

    数据开发(DataStudio)基于业务流程执行不同引擎的具体开发操作,因此,创建节点前需先创建业务流程,操作详情请参见创建业务流程

  • 已创建MySQL数据源。

    您需先将您的MySQL数据库创建为DataWorks的MySQL数据源,才可通过该数据源访问相应数据库的数据。详情请参见MySQL数据源

    说明

    MySQL节点仅支持通过连接串形式添加MySQL数据源。

  • (可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限。添加成员并授权,详情请参见为工作空间添加空间成员

使用限制

  • MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源进行MySQL任务的开发。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

  • 当前节点类型不支持MySQL8.0及以上版本。

  • 支持的地域:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、美国(弗吉尼亚)。

网络联通说明

  • 网络连通说明

    MySQL节点需要访问MySQL服务,您需要确保Serverless资源组和MySQL数据库的网络已连通,关于Serverless资源组网络连通方案,详情请参见:网络连通方案

  • 配置白名单

    若MySQL数据库存在白名单访问控制,您需要在MySQL数据库添加Serverless资源组对应的白名单,获取Serverless资源组白名单,详情请参见:添加白名单

  • 测试连通性

    您可以通过添加DataWorks数据源的方式来测试是否可以连通。详情请参见:测试连通性

创建并使用MySQL节点进行任务开发

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 创建业务流程

    如果您已有业务流程,则可以忽略该步骤。

    1. 鼠标悬停至新建图标,选择新建业务流程

    2. 新建业务流程对话框,输入业务名称

    3. 单击新建

  3. 创建MySQL节点。

    1. 鼠标悬停至新建图标,选择新建节点 > 数据库 > MySQL

      您也可以找到相应的业务流程,右键单击业务流程,选择新建节点 > 数据库 > MySQL

    2. 新建节点对话框中,输入名称,并选择节点类型路径

      说明

      节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。

    3. 单击确认,进入MySQL节点编辑页面。

  4. 使用MySQL节点进行MySQL任务开发。

    1. 选择数据源。

      选择数据源下拉框,选择进行任务开发需要使用的目标数据源。如果下拉列表中没有需要的数据源,请单击右侧的新建数据源,在数据源管理页面新建,详情请参见配置MySQL数据源

      说明
      • 标准模式工作空间下,此处仅下拉展示已配置开发环境与生产环境的MySQL数据源。

      • MySQL节点仅支持对连接串模式创建的生产环境MySQL数据源进行MySQL任务的开发。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

    2. 选择资源组。

      在工具栏单击高级运行图标,在参数对话框选择已创建的调度资源组。

      说明
      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案

      • 如果您后续执行任务需要修改使用的资源组,您可单击带参运行高级运行图标,选择需要更换的调度资源组。

    3. 使用SQL语句创建任务。

      在SQL编辑区域使用SQL语句创建任务。SQL编辑区

      示例查询xc_emp表的内容,语句如下。实际使用时,您可以根据MySQL支持的语法,编写需要执行的语句。

      select * from xc_emp;

      运行结果如下。运行结果

      如果任务执行失败,您可以查看任务运行失败的错误提示,参考常见问题:任务执行报错暂不支持的jdbc驱动进行排查处理。

    4. 保存并运行SQL语句。

      在工具栏,单击保存图标,保存编写的SQL语句,单击运行图标,运行创建的SQL任务。

  5. 任务调度配置。

    如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:

    • 配置任务调度的基本信息,详情请参见配置基础属性

    • 配置时间调度周期、重跑属性和上下游依赖关系,详情请参见时间属性配置说明配置同周期调度依赖

      说明

      您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。

    • 配置资源属性,详情请参见配置资源属性。访问公网或VPC网络的MySQL数据源,请选择与MySQL数据源网络连通的调度资源组,作为周期调度任务使用的资源组。详情请参见网络连通方案

  6. 提交并发布节点任务。

    1. 单击工具栏中的保存图标,保存节点。

    2. 单击工具栏中的提交图标,提交节点任务。

    3. 提交新版本对话框中,输入变更描述

    4. 单击确定

    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务

  7. 查看周期调度任务。

    1. 单击编辑界面右上角的运维,进入生产环境运维中心。

    2. 查看运行的周期调度任务,详情请参见查看并管理周期任务

    如果您需要查看更多周期调度任务详情,可单击顶部菜单栏的运维中心,详情请参见运维中心概述

常见问题:任务执行报错暂不支持的jdbc驱动

  • 问题描述

    添加MySQL数据源时,选择了非连接串模式创建的数据源,导致运行任务时失败,报错信息为sql execute failed! 暂不支持的jdbc驱动

  • 问题原因

    出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。

  • 解决方案

    重新选择使用连接串模式创建的数据源。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

常见问题:测试连通性通过但任务执行报错

  • 可能原因1:测试连通性时资源组选择错误,请确认是否选择使用任务调度资源组进行连通性测试。详情请参见(可选)测试网络连通

  • 可能原因2:测试连通性使用的调度资源组,但任务执行时选错资源组,您可通过带参运行高级运行切换任务执行使用的调度资源组。