本文将为您介绍如何新建实时计算任务,并通过Stream Studio进行数据开发。

前提条件

如果您还没有业务流程,请先新建一个业务流程,详情请参见业务流程。如果您已有业务流程,可以直接在相应的业务流程中进行操作。

DAG模式开发

  1. 右键单击新建的业务流程,选择新建任务
    新建任务
  2. 新建节点对话框中,输入节点名称,并选择目标文件夹
  3. 单击提交,即可进入组件页面,进行DAG模式的开发。
    组件
    序号 功能 说明
    1 组件区 单击左侧导航栏中的组件,即可在组件列表中查看DAG模式可以使用的组件。
    2 DAG画布区 右侧工作区为DAG画布,您可以将组件列表中的组件拖拽至DAG画布中,然后连接组件,最终构建1个DAG业务流程。1个DAG业务流程即1个实时计算任务。
    3 组件参数配置区 在DAG画布中双击组件,在右侧进行参数配置
    4 工具条区 您可以在工具条区进行保存、提交、偷锁、预编译、测试运行、停止运行、重新加载和格式化等操作。
    编辑DAG业务流程过程中,您可以右键单击组件名称,进行重命名查看schema删除节点查看错误信息新建组件组复制等更多操作。右键

转换DAG模式与SQL模式

配置好DAG业务流程后,单击右上方的切换为SQL模式,即可转换DAG模式为SQL模式。切换

该功能可以转换DAG业务流程为Flink SQL。在SQL模式中,也可以单击切换为DAG模式,转换SQL模式为DAG模式。

您可以直接在SQL模式中进行SQL任务开发。由于Flink SQL的功能比DAG更为强大,因此可能部分SQL语句无法转成DAG。随着组件的增加和完善,未来将支持Flink SQL所有特性都能够转换为DAG业务流程。

预编译与测试运行

编辑好DAG或SQL后,可以在工具条中单击预编译,对任务进行预编译,以便提前检查错误。如果有错误,则会弹出错误信息,您可以根据错误信息对任务进行修改。预编译

预编译通过后,可以进行测试运行,即本地调试。测试运行允许您上传样本数据对流计算任务进行本地测试。

单击工具条中的测试运行按钮。在弹出的对话框中,针对任务中的每个数据源表及数据维表都上传一份样本数据,然后单击确认,进行任务的本地测试。确认

如果运行成功,则会在下方显示运行结果。如果运行失败,请查看运行日志对任务进行修改。

发布任务

任务编辑完成且测试运行通过后,即可正式发布任务。

单击工具条右侧的发布,即可一键发布任务。

任务发布后,单击页面右上角的运维,进入运维页面,对任务进行启动、暂停、恢复和下线等操作,详情请参见周期任务