本文为您介绍如何查看作业的详情和状态,以及如何修改作业状态和配置信息。

查看作业详情

  1. 登录实时计算控制台
  2. Flink全托管页签,单击目标工作空间操作列下的开发控制台
  3. 在左侧导航栏上,选择应用 > 作业运维
  4. 单击目标作业名称。
  5. 在作业详情页面,查看以下信息。
    • 作业总览:作业参数总览。作业总览
      说明 单击指标,您可以查看更多指标,包括Flink的常用指标。
    • 数据曲线:展示Flink的常用指标。数据曲线Flink全托管VVR 2.1.3及以上版本支持的Metrics指标如下表所示:
      说明 “√”表示上报Metrics,“x”表示暂未支持上报Metrics。
      • Source
        Connector numBytesIn numBytesInPerSecond numRecordsIn numRecordsInPerSecond numRecordsInErrors currentFetchEventTimeLag currentEmitEventTimeLag watermarkLag sourceIdleTime pendingBytes pendingRecords
        Kafka x x
        MaxCompute x x x x x x x
        增量MaxCompute x x x x x x x
        MQ x x
        SLS x x x x x x
        DataHub x x x x x x
        ElasticSearch x x x x x x x x
        Hologres x x x x x x x x x
        云数据库HBase x x x x x x x x x x x
        Tablestore x x x x x x x x x x x
        Phoenix x x x x x x x x x x x
        Redis x x x x x x x x x x x
      • Sink
        Connector numBytesOut numBytesOutPerSecond numRecordsOut numRecordsOutPerSecond numRecordsOutErrors currentSendTime
        Kafka
        MaxCompute x x x x
        增量MaxCompute x x x x
        MQ x x x
        SLS x x x
        DataHub x
        ElasticSearch x x x x x x
        Hologres x x x
        云数据库HBase x
        Tablestore x x x
        Phoenix x x x
        Redis x x x
      说明 除了在Flink全托管控制台上监控Metric的方式外,您也可以使用自建的Prometheus服务监控Flink Metric。但是您需要在网络连通的情况下,先在Flink全托管控制台目标作业开发页面右侧高级配置面板更多Flink配置中添加如下代码。
      metrics.reporter.promgatewayappmgr.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
      metrics.reporter.promgatewayappmgr.host: ${your pushgateway host}
      metrics.reporter.promgatewayappmgr.port: ${your pushgateway port}

      该代码中,${your pushgateway host}和${your pushgateway port}需要替换为您的pushgateway的host和port。

      另外,您可以通过ARMS API的方式获取Flink全托管的Metric后,将Metric集成在您自己的平台上。ARMS API详情请参见API概览。Operator相关的Metric详情,请参见Operator Metic

    • 运行事件:作业运行中的事件。运行事件
      运行事件页面上,默认展示事件发生的时间信息操作三部分信息,其中具体操作包括以下操作:
      • 复制信息:复制信息内容。
      • 实例详情:查看作业运行事件的详细信息,包括实例信息、Artifact配置、Flink配置、日志配置和Logging Level配置等。
        说明
        • 作业总览页面右上角,单击Flink UI,可以跳转到运行作业的开源Flink UI界面。
        • 单击指标,可以跳转到运行作业的VVP(Ververica Platform)的指标界面。指标界面默认展示的是从事件发生时间起30分钟内的指标信息。
      • 搜索该实例事件:过滤出该实例的事件。

查看作业状态

  1. 登录实时计算管理控制台
  2. Flink全托管页签,单击目标工作空间操作列下的开发控制台
  3. 在左侧导航栏上,选择应用 > 作业运维
  4. 单击目标作业名称。
  5. 作业总览页签,查看作业状态信息。
    页面左上角会显示两种作业状态:
    • 期望状态
      状态 说明
      RUNNING 按作业配置,启动作业。
      CANCELLED 停止任何正在运行的作业。
      SUSPENDED 先对当前运行的作业创建Savepoint,再停止作业。
    • 当前状态
      状态 说明
      RUNNING 按作业配置定义,启动作业。
      CANCELLED 停止任何正在运行的作业。
      SUSPENDED 先对当前运行的作业创建Savepoint,再停止作业。
      FINISHED 作业运行完成。
      TRANSITIONING 作业处于向期望状态的过度阶段。
      FAILED 作业向期望状态转换失败,需要手动处理。
      ClusterUnreachable VVP无法访问JM(JobManager),获取不到Job的状态。
    说明 单击启动后,作业的期望状态会立刻变成RUNNING,当前状态会变成TRANSITIONING,并显示作业启动进度。前端开发平台VVP(Ververica Platform)会保证Flink作业最终达到期望状态。

    如果Flink作业状态正在从某个状态变成期望状态的过程中,而作业的最终期望状态发生了改变,作业会先到达最初的期望状态,再转换为最终的期望状态。

修改作业状态

  1. 登录实时计算控制台
  2. Flink全托管页签,单击目标工作空间操作列下的开发控制台
  3. 在左侧导航栏上,选择应用 > 作业运维
  4. 单击目标作业名称。
  5. 单击作业总览页签,进入作业详情页面。
  6. 根据需要单击以下按钮,修改作业状态。作业状态
    其中,每个按钮含义如下表所示。
    操作名称 说明
    暂停 暂停作业,先对当前运行的作业创建Savepoint,再停止作业。暂停作业需要具备以下两个条件:
    • Savepoint地址配置完成。如果Savepoint地址没有配置,暂停操作将直接停止作业,导致作业状态丢失。
    • Savepoint操作成功。
    停止 停止作业。
    诊断 系统会根据收集到的瞬时作业信息(例如Failover等)和常见的作业诊断规则,给您一些简单指导意见。
    Savepoint 创建一个当前时刻的Savepoint。
    说明 请先完成Savepoint地址配置,否则Savepoint会失败。
    编辑 修改作业基础配置或高级配置。
    删除 删除作业。只能删除当前状态不为RUNNING的作业。

修改作业配置

作业配置包含作业上线阶段所有的配置内容。

  1. 登录实时计算控制台
  2. Flink全托管页签,单击目标工作空间操作列下的开发控制台
  3. 在左侧导航栏上,选择应用 > 作业运维
  4. 单击目标作业名称。
  5. 修改作业配置信息。
    您可以通过以下任何一种方式修改作业配置:
    • 以模板模式编辑

      在页面右上角,单击编辑后,进入作业开发页面,单击右侧的高级配置,修改作业配置信息。

    • 以YAML模式编辑

      在页面右上角,单击编辑后,单击页面底部的YAML,修改配置信息。

  6. 单击保存