本文为您介绍如何提交Datastream作业。

前提条件

说明
  • 仅独享模式Blink 3.2.2及以上版本支持Flink Datastream功能,推荐使用Blink 3.4.0及以上版本。
  • Datastream API作业不支持资源配置调优和启动位点设置,Blink 3.4.0以下版本,上线和启动作业过程中,使用默认配置即可。

操作步骤

  1. 阿里实时计算开发平台,单击顶部菜单栏中的开发
  2. 开发页面的顶部菜单栏中,单击新建作业
  3. 新建作业页面,配置作业参数。
    作业参数 说明
    文件名称 自定义作业的名称。作业名称需在当前项目中保持唯一。
    作业类型 FLINK_STREAM/DATASTREAM
    说明 Datastream API作业和Table API作业均选择FLINK_STREAM/DATASTREAM 作业类型。若无此类型,请提交工单。
    存储位置 作业存储的位置。
  4. 单击左侧导航栏中的资源引用,进入资源引用窗口。
  5. 单击新建资源上传已经完成开发的Datastream作业JAR包。
  6. 单击引用
  7. 在作业开发界面配置参数。
    blink.main.class=<完整主类名>
    --函数完整类名,例如com.alibaba.realtimecompute.DemoTableAPI。
    blink.job.name=<作业名>  
    --例如datastream_test。
    blink.main.jar=<完整主类名jar包的资源名称>
    --完整主类名JAR包的资源名称,例如blink_datastream.jar。
    说明
    • blink.main.classblink.job.name为必须参数。
    • 上传多个JAR包时需要配置blink.main.jar参数。
    • 其它参数您可先自行配置,然后在程序中引用。自定义参数配置及在代码中获取参数值的方法,请参见自定义参数
    • 请不要在参数配置中使用空格。
  8. 上线作业。
    • Blink 3.4.0以下版本:请参见上线
    • Blink 3.4.0及以上版本:
      1. 单击作业上方上线
      2. 选择资源配置方式
        • 代码配置:使用用户代码内的资源配置,与开源Flink形式一致。
        • 手动配置:使用资源配置界面中手动调整的资源配置。
        说明
        • 若第一次使用手动配置或需要手动修改资源配置。
          1. 在开发界面的左侧资源配置栏通过配置信息操作 > 重新获取配置信息
          2. 根据需要手动修改配置信息。
          3. 通过配置信息操作 > 应用当前配置,保存配置。
        • 手动配置时,代码显式配置的资源优先级高于平台界面上的资源配置。例如,用户代码中显式设置了某些算子的资源,则平台界面中对应算子的资源配置失效。实际运行时,算子的资源以您代码中显式的配置为准。代码中未显示的资源配置,以平台界面上的配置信息为准。
      3. 单击下一步进行数据检查或单击跳过数据检查
      4. 单击上线
  9. 启动作业。
    • Blink 3.4.0以下版本:请参见启动
    • Blink3.4.0及以上版本:在运维界面单击右上角的启动即可。