本文将为您介绍如何新建实时计算任务,并通过Stream Studio进行数据开发。

前提条件

如果您还没有业务流程,请先新建一个业务流程。如果您已有业务流程,可以略过。
业务流程

完成业务流程的创建后,在数据开发列表中,单击新建按钮,选择任务 > 实时计算开发,新建实时计算任务。默认以DAG模式进行任务开发。

操作步骤

  1. DAG模式开发。
    DAG模式开发的产品界面如下所示。
    DAG模式开发

    整体分为四个区域:

    • 组件区:在左侧导航条中切换到组件,在组件列表中列出了DAG模式可以使用的组件。
    • DAG画布区:右侧工作区为DAG画布,您可以将组件列表中的组件拖拽到DAG画布中,然后连接组件,最终构建一个DAG工作流程图。一个DAG工作流就是一个实时计算任务。
    • 组件参数配置区:在DAG画布中双击组件,在右侧会浮出组件参数配置面板,在这里对组件参数进行配置。若组件参数配置完整,则在组件右侧会显示绿色的对勾图标。如果参数配置不完整则会显示红色的错误图标。
    • 工具条区:在上方是工具条区,在这里可以进行的操作有:保存、提交、偷锁、预编译、测试运行、停止运行、重新加载和格式化。
    在DAG工作流编辑过程中,可以通过右键单击组件弹出右键菜单,进行更多操作:如重命名删除查看schema查看错误信息新建组件组复制等。
    组件
  2. DAG模式与SQL模式的转换。
    配置好DAG工作流后,单击右上方的切换为SQL模式,即可将DAG转为SQL。
    切换模式

    该功能能够将DAG工作流100%转为Flink SQL。在SQL模式中,也可以单击切换为DAG模式,将SQL切换为DAG。

    如果您比较喜欢编写SQL,也可以直接在SQL模式中进行SQL任务开发。由于Flink SQL的功能比DAG更为强大,因此可能部分SQL语句无法转成DAG。随着组件增加和完善,未来将支持Flink SQL所有特性都能够转为DAG工作流。

  3. 预编译与测试运行。
    编辑好DAG或SQL后,可以在工具条中单击预编译,对任务进行预编译,以提前进行错误检查。如果有错误,则会弹出错误信息,您可以根据错误信息对任务进行修改。
    预编译

    预编译通过后,可以进行测试运行,即本地调试。测试运行允许您上传一份样本数据对流任务进行本地测试。

    单击工具条中的测试运行按钮。在弹出的对话框中,针对任务中的每一个数据源表及数据维表都上传一份样本数据,然后单击确定,进行任务的本地测试。
    本地测试

    如果运行成功,则会在下方显示运行结果。如果运行失败,请查看运行日志对任务进行修改。

  4. 发布任务。
    如果任务编辑完成且测试运行通过,则可正式发布任务。单击工具条右边的发布,即可一键发布任务。
    发布

    任务发布之后,可以进入运维页面,对任务进行启动、暂停、恢复和下线等操作等操作,详情请参见任务运维