本文为您介绍如何提交Datastream作业。

前提条件

已创建实时计算项目。
注意
  • 仅独享模式Blink 3.2.2及以上版本支持Flink Datastream功能,推荐使用Blink 3.4.0及以上版本。
  • Datastream API作业不支持资源配置调优和启动位点设置,Blink 3.4.0以下版本,上线启动作业过程中,使用默认配置即可。

操作步骤

  1. 实时计算控制台,单击顶部菜单栏中的开发
  2. 开发页面的顶部菜单栏中,单击新建作业
  3. 新建作业页面,配置作业参数。
    作业参数 说明
    文件名称 自定义作业的名称。作业名称需在当前项目中保持唯一。
    作业类型 FLINK_STREAM/DATASTREAM。
    说明 Datastream API作业和Table API作业均选择FLINK_STREAM/DATASTREAM作业类型。如果无此类型,请您提交工单进行咨询。
    存储位置 作业存储的位置。
  4. 单击左侧导航栏中的资源引用,进入资源引用窗口。
  5. 单击新建资源上传已经完成开发的Datastream作业JAR包。
    说明 在上传JAR包时,JAR包大小上限为300 MB。如果JAR包超过300 MB,请在集群绑定的OSS上传,或通过OpenAPI的方式上传JAR。
  6. 单击引用
  7. 在作业开发界面配置参数。
    blink.main.class=<完整主类名>
    --函数完整类名,例如com.alibaba.realtimecompute.DemoTableAPI。
    blink.job.name=<作业名> 
    --例如datastream_test。
    blink.main.jar=<完整主类名JAR包的资源名称>
    --完整主类名JAR包的资源名称,例如blink_datastream.jar。
    • blink.main.classblink.job.name为必须参数。请务必保证blink.job.name的值与步骤3中的文件名称一致。如果不一致,实际作业名称将以步骤3中的文件名称为准。
    • 上传多个JAR包时需要配置blink.main.jar参数。
    • 您可以先自行配置其它参数,然后在程序中引用。自定义参数配置及在代码中获取参数值的方法,请参见自定义参数
    • 请不要在参数配置中使用空格。
    • Blink3.2.0及以上版本无需设置Checkpoint路径,系统会自动生成Checkpoint路径。
    • Blink自3.4.0开始,JAR包代码中的所有参数配置优先级会高于实时计算平台上的参数配置。例如:
      • JAR包代码和自定义参数中都设置了statebackend,则优先使用JAR包中代码的配置。
      • JAR包代码和自定义参数中没有设置statebackend,则优先使用实时计算平台作业模板中的默认参数niagara statebackend
        说明 请您谨慎删除模板中的默认参数,否则可能会导致作业无法Checkpoint和容错。作业名称blink.job.name是特例,代码中env.execute("jobname")设置的作业名称将会被创建作业时设置的作业名称替换,从而保持一致。此外,Metric(包括自定义Metric)名称也需要和创建作业时设置的作业名称保持一致。
  8. 上线作业。
    • Blink 3.4.0以下版本
      1. 资源配置
        选择对应的资源配置方式。第1次启动作业时,建议使用系统默认配置。
        说明 实时计算支持手动资源配置,手动资源配置的方法请参见手动配置调优
      2. 数据检查

        通过数据检查后,单击下一步

      3. 上线作业

        单击上线

    • Blink 3.4.0及以上版本
      1. 单击作业上方上线
      2. 选择资源配置方式
        • 代码配置:使用代码内的资源配置,与开源Flink形式一致。
        • 手动配置:使用资源配置界面中手动调整的资源配置。
          1. 在开发界面的左侧资源配置栏,单击配置信息操作 > 重新获取配置信息
          2. 根据需要手动修改配置信息。
          3. 单击配置信息操作 > 应用当前配置,保存配置。
          说明 手动配置时,代码显式配置的资源优先级高于平台界面上的资源配置。例如,代码中显式设置了某些算子的资源,则平台界面中对应算子的资源配置失效。实际运行时,算子的资源以您代码中显式的配置为准。代码中未显示的资源配置,以平台界面上的配置信息为准。
      3. 单击下一步进行数据检查或单击跳过数据检查
      4. 单击上线
  9. 运维页面,单击目标作业操作列下的启动