开通实时计算云原生模式后,您可以在云原生控制台提交作业。本文为您介绍云原生作业的提交流程。

前提条件

提交作业前请先开通实时计算云原生模式。开通步骤请参见开通实时计算云原生模式

操作步骤

  1. 登录实时计算云原生开发控制台。登录步骤请参见开通实时计算云原生模式
  2. 选择提交作业的Namespace
  3. 在目标Namespace中,创建作业。
    1. 单击页面右上角Create Deployment
    2. 填写作业的名称。
      Labels选项中添加作业标签,便于在总览页面快速定位作业。例如,在名称为test2的作业Labels中添加key:value对:abc:123。作业上线后,作业的名称的右侧即可显示标签信息(例如abc:123)。
      通过总览界面的Filter功能,搜索作业标签信息(例如KEY值或VALUE值)可以快速定位作业。
    3. 填写Deployment相关配置。
      说明 各属性说明请参见实时计算云原生开发控制台组件介绍。
    4. 配置作业运行参数。主要配置信息说明如下。
      参数 说明 备注
      Flink Version Flink版本 实时计算云原生模式支持Flink1.8和Flink1.9两个版本,默认版本是1.9版本。2个大版本分别支持1个主流小版本,对应关系如下:
      • Flink1.8:1.8.1-stream1-scala_2.11
      • Flink1.9:1.9.0-stream2-scala_2.11
      Jar URI JAR包地址 参考开源版本,编写Flink Streaming程序, 程序编写完成后,打JAR包,然后把JAR包存放至本集群可以访问到的HTTP服务地址,填写对应的URL。
      说明 建议将JAR包存放至可访问的OSS中。
      entryClass 主类 显示您指定的JAR包中主类的全称。
      mainArgs main函数参数 main函数需要使用的参数。
      Flink Configuration Flink参数设置 其它作业运行参数可以通过加号(+)以key-value的方式来添加。所有参数的KEY和开源Flink完全相同。
      说明 请以state.savepoints.dirkey来配置您对应savepoint的存储地址,否则无法使用savepoint功能。
      JAR包地址的获取方法如下:
      1. 上传JAR包至对应的Bucket。JAR包名中不可以包含中文和特殊字符。
      2. 将JAR包权限更改为公共读
      3. 在目标作业操作列下,单击更多 > 复制文件 URL,获取JAR包地址。
  4. 资源配置。
    参数 说明 备注
    Parallelism 并发数 设置您作业的并发数。如果不设置并发数,则默认为1。
    Number of Task Managers Task Manager的个数 设置作业Task Manager的个数,默认等于并发数。
    说明 如果Task Manager数小于并发数,则作业无法启动。
    Job Manager Job Manager资源 设置Job Manager所消耗的资源,默认为1CPU、2G内存。
    Task Manager Task Manager资源 设置Task Manager所消耗的资源,默认为1CPU,2G内存。
  5. 高阶属性模式。
    参数 说明 备注
    Enable Production mode 是否开通生产模式 仅标记,非生产模式的作业不提交SLA,默认开启。
    Enable Queryable state 是否监控State 启动一个State的客户端监控Task Manager中的State和查询,默认不开启。具体使用方法参见Queryable State
    Enable SSL for network communication 是否开启SSL加密 开启后会加密Task Manager和Job Manager之前通信的信息,提高安全性。但出现异常后不容易排查。默认不开启。
    Max Savepoint Creation Attempts Savepoint重试次数 设置Savepoint重试的次数,默认为4次。
    Max Job Creation Attempts Job最大重试次数 设置Job最大重试次数,默认为4次。
    log4j configuration Log4j的配置 key-value形式配置,可以配置某个类Log的级别。
  6. 单击Create Deployment,提交作业。