文档

配置作业部署信息

更新时间:

在作业启动前,您需要配置作业部署信息。本文为您介绍如何配置作业部署信息。

前提条件

  • 其他阿里云账号或RAM用户等访问项目空间,并进行作业资源配置等操作时,则需要为其进行授权,详情请参见作业操作授权

  • 已完成作业部署,详情请参见部署作业

操作步骤

  1. 登录实时计算控制台

  2. Flink全托管页签,单击目标工作空间操作列下的控制台

  3. 作业运维页面,单击目标作业名称。

  4. 部署详情页签,单击目标区域右侧的编辑

    说明

    因为SQL作业基础配置需要返回到SQL开发页面,才能编辑作业草稿并重新部署。所以在单击基础配置区域右侧的编辑后,您还需要在弹出的对话框中,单击确定

  5. 修改作业部署信息。

    您可以修改以下几个方面的部署信息:

  6. 单击保存

基础配置

作业类型

说明

SQL作业

包括SQL代码、引擎版本附加依赖文件备注作业标签信息。参数含义详情请参见SQL作业开发

说明

单击基础配置右侧的编辑后,需要返回到SQL开发页面编辑作业草稿并重启部署。如果您需要继续进行编辑,请单击确定

JAR作业

包括引擎版本JAR UriEntry Point ClassEntry Point Main Arguments附加依赖文件备注Kerberos集群作业标签。参数含义详情请参见部署作业

Python作业

包括引擎版本Python UriEntry ModuleEntry Point Main ArgumentsPython LibrariesPython Archives附加依赖文件备注Kerberos集群作业标签。参数含义详情请参见部署作业

运行参数配置

参数

说明

系统检查点间隔

定时执行系统检查点的时间间隔。如果不填写,将会关闭系统检查点。

系统检查点超时时间

默认值为10分钟,到达默认之后系统检查点将生成失败。

两次系统检查点间最短间隔

两次系统检查点之间的最短时间间隔,如果系统检查点最大并行度是1,则该配置确保两个系统检查点之间有一个最短时间间隔。

State数据过期时间

如果时间超过了State数据过期时间,则State数据就过期了,系统就会自动清理掉过期的State数据,即可释放一定的磁盘空间。

Flink重启策略

当有Task失败时,如果没有开启系统检查点,JobManager进程不会重启。如果开启了系统检查点,则JobManager进程会重启。该参数取值如下:

  • Failure Rate:基于失败率重启。

    选择基于失败率重启后,您还需要设置检测Failure Rate的时间间隔时间间隔内的最大失败次数每次重启时间间隔

  • Fixed Delay(默认值):固定间隔重启。

    选择基于固定间隔重启后,您可以结合实际业务场景修改尝试重启的次数每次重启时间间隔参数的取值。

  • No Restarts:不会重启。

其他配置

在此设置其他Flink配置。例如akka.ask.timeout: 10

日志配置

参数

说明

日志归档

默认已开启日志归档功能。开启日志归档后,您可以在作业探查页面查看历史作业实例的日志,详情请参见查看历史作业实例日志

说明
  • 在VVR 3.x版本,仅VVR 3.0.7及以上版本支持开启日志归档功能。

  • 在VVR 4.x版本,仅VVR 4.0.11及以上版本支持开启日志归档功能。

归档日志有效期

归档日志有效期默认为7天。

根日志级别

日志级别从低到高顺序如下:

  1. TRACE:比DEBUG更细粒度的信息。

  2. DEBUG:系统运行状态的信息。

  3. INFO:重要或者您感兴趣的信息。

  4. WARN:系统可能出现潜在错误的信息。

  5. ERROR:系统出现错误和异常的信息。

类日志等级

填写日志名称和日志级别。

日志模板

可以选择为default系统模板或自定义模板。

  • 本页导读 (1)
文档反馈