您可以通过创建MySQL节点,直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。

前提条件

使用限制

  • MySQL节点仅支持对通过连接串模式创建的MySQL数据源进行数据开发。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

  • 数据源访问公网时,需要配置白名单。为保证开发任务不受资源组连通性阻碍,建议使用独享调度资源组。
  • 数据源访问VPC网络时,仅支持使用独享调度资源组进行数据开发。

网络联通方案与建议

数据源与资源组的网络联通方案与建议如下:
  • 独享调度资源组的资源可以随时调配,且可以保障任务产出,建议执行任务使用独享调度资源组。
  • 需要访问VPC网络的数据源,请使用独享调度资源组。
  • 需要访问公网的数据源,推荐使用独享调度资源组。
  • 需要访问公网的数据源,如果使用公共调度资源组,则需要配置白名单。

创建并使用MySQL节点进行数据开发

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 创建业务流程
    如果您已有业务流程,则可以忽略该步骤。
    1. 鼠标悬停至新建图标,选择业务流程
    2. 新建业务流程对话框,输入业务名称
    3. 单击新建
  3. 创建MySQL节点。
    1. 鼠标悬停至新建图标,选择数据库 > MySQL
      您也可以找到相应的业务流程,右键单击业务流程,选择新建 > 数据库 > MySQL
    2. 新建节点对话框中,输入节点名称,并选择节点类型目标文件夹
      说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
    3. 单击提交,进入MySQL节点编辑页面。
  4. 使用MySQL节点进行数据开发。
    1. 选择数据源。
      选择数据源下拉框,选择进行数据开发需要使用的目标数据源。如果下拉列表中没有需要的数据源,请单击右侧的新建数据源,在数据源管理页面新建,详情请参见配置MySQL数据源
      说明

      MySQL节点仅支持对通过连接串模式创建的MySQL数据源进行数据开发。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。

    2. 选择资源组。
      在工具栏单击高级运行图标,在参数对话框选择已创建的调度资源组。
      说明
      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见数据源测试连通性
      • 如果您后续执行任务需要修改使用的资源组,也可以在此处选择需要更换的调度资源组。
    3. 使用SQL语句创建任务。
      在SQL编辑区域使用SQL语句创建任务。SQL编辑区
      示例查询xc_emp表的内容,语句如下。实际使用时,您可以根据MySQL支持的语法,编写需要执行的语句。
      select * from xc_emp;
      运行结果如下。运行结果
      如果任务执行失败,您可以查看任务运行失败的错误提示,参考任务运行失败常见问题:界面提示sql execute failed! 暂不支持的jdbc驱动进行排查处理。
    4. 保存并运行SQL语句。
      在工具栏,单击保存图标,保存编写的SQL语句,单击运行图标,运行创建的SQL任务。
  5. 任务调度配置。
    如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:
    • 配置任务调度的基本信息,详情请参见基础属性
    • 配置时间调度周期、重跑属性和上下游依赖关系,详情请参见配置时间属性依赖关系
      说明 您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。
    • 配置资源属性,详情请参见配置资源属性。访问公网或VPC网络的MySQL数据源,请选择与MySQL数据源网络连通的调度资源组,作为周期调度任务使用的资源组。详情请参见数据源测试连通性
  6. 提交并发布节点任务。
    1. 单击工具栏中的保存图标,保存节点。
    2. 单击工具栏中的提交图标,提交节点任务。
    3. 提交新版本对话框中,输入变更描述
    4. 单击确认
    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击右上方的发布。具体操作请参见发布任务
  7. 查看周期调度任务。
    1. 单击编辑界面右上角的运维,进入运维中心。
    2. 查看运行的周期调度任务,详情请参见查看周期任务

任务运行失败常见问题:界面提示sql execute failed! 暂不支持的jdbc驱动

  • 问题描述

    添加MySQL数据源时,选择了非连接串模式创建的数据源,导致运行任务时失败,报错信息为sql execute failed! 暂不支持的jdbc驱动

  • 问题原因

    出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。

  • 解决方案

    重新选择使用连接串模式创建的数据源。您可以参考配置MySQL数据源进入数据源管理页面,单击目标数据源操作列的编辑在数据源编辑页面查看创建数据源时所使用的模式。