DolphinScheduler调度XIHE SQL

DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统,能高效地执行和管理大数据处理流程。您可以使用DolphinScheduler调度云原生数据仓库 AnalyticDB MySQL 版的XIHE SQL任务,提高数据处理的效率。

前提条件

  • 已安装DolphinScheduler。具体操作,请参见DolphinScheduler官方文档

  • 已在DolphinScheduler安装目录中配置MySQL驱动程序,且MySQL驱动程序为8.0.0及以上版本。下载链接,请参见mysql-connector-java

  • 已将运行DolphinScheduler的服务器IP地址添加至AnalyticDB for MySQL集群的白名单中。具体操作,请参见设置白名单

操作步骤

  1. 创建数据源。

    1. 访问DolphinScheduler Web界面,在顶部导航栏单击源中心

    2. 单击创建源,选择源类型为MYSQL

    3. 在弹出的创建数据源对话框中配置如下参数:

      参数

      说明

      数据源

      选择为MYSQL

      源名称

      数据源名称。

      IP主机名

      AnalyticDB for MySQL集群的连接地址。可通过控制台集群信息页面,查看连接信息。

      端口

      AnalyticDB for MySQL集群的端口号,固定为3306。

      用户名

      AnalyticDB for MySQL集群的数据库账号。

      数据库名

      AnalyticDB for MySQL集群的数据库名称。

      说明

      其他参数为选填参数,详情请参见MySQL数据源

    4. 单击测试连接,测试成功后,单击确定

  2. 创建项目。

    1. 在顶部导航栏单击项目管理

    2. 单击创建项目

    3. 在弹出的创建项目对话框中配置项目名称所属用户等参数。详情请参见创建项目

  3. 创建工作流。

    1. 单击已创建的项目名称,进入工作流定义页面。

    2. 单击创建工作流进入工作流DAG编辑页面

    3. 在页面左侧选择SQL,并将其拖拽到右侧空白画布中。

    4. 在弹出的当前节点设置对话框中配置如下参数:

      参数

      说明

      数据源类型

      选择为MYSQL

      数据源实例

      选择步骤1创建的数据源。

      SQL类型

      SQL作业的类型,例如查询非查询

      SQL语句

      业务具体的SQL语句。

    5. 单击确认

    6. 单击页面右上角保存,在弹出的基本信息对话框中配置工作流名称等参数。

    7. 单击确定

  4. 运行工作流。

    1. 单击工作流操作列的image按钮,上线工作流。

    2. 单击工作流操作列的image按钮。

    3. 在弹出的启动前请先设置参数对话框中,配置对应参数。

    4. 单击确定,运行工作流。

  5. 查看工作流详细信息。

    1. 在左侧导航栏单击任务实例

    2. 操作列,单击image按钮,查看工作流执行结果和日志信息