Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。

背景信息

如果出现以下情况，则您需要查看历史作业实例的日志：
  • 您需要查看、搜索和分析历史作业实例的运行日志（系统默认保留最近5 MB大小的运行日志）。
  • Flink UI无法打开，需要查看Job Manager日志定位问题。
本文为您介绍查看历史作业实例日志的三种途径：

前提条件

  • 在作业探查界面查看历史作业实例日志，需要您在作业开发页面的高级配置中已打开日志归档功能。默认已开启日志归档功能。日志归档
  • 在OSS或者SLS上查看历史实例的日志，需要您在Flink全托管上已配置了历史作业实例的日志输出到OSS或者SLS，详情请参见配置历史作业实例日志输出。

使用限制

  • 在VVR 3.x版本，仅VVR 3.0.7及以上版本支持查看历史作业实例的TM日志。
  • 在VVR 4.x版本，仅VVR 4.0.11及以上版本支持查看历史作业实例的TM日志。

注意事项

  • 如果Task Manager和Job Manager任意一个启动，日志都会写到SLS或OSS。但Task Manager和Job Manager都没有正常启动时，日志不会被写到SLS或OSS。
  • 如果因为Job Manager和Task Manager都没有正常启动，导致您在OSS上没有找到对应的日志文件，请联系我们。
  • 日志配置中默认会保留2个文件，每个文件大小为5 MB，不建议您修改该值。如果该日志保存大小不满足您的需求，则请将日志输出至OSS中。日志模板
    说明 图片上的文件个数不包括正在写的文件，即如果这里配置为1，则最多会保存2个文件，一个保存在内存中，一个保存在您的本地磁盘中。

在作业探查界面查看

  1. 登录实时计算控制台。
  2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。
  3. 在左侧导航栏上，选择应用 > 作业运维。
  4. 单击目标作业名称。
  5. 单击作业探查。
  6. 在左侧运行日志页签，选择正在运行的作业实例。
    左侧灰色小点表示此实例为历史作业实例。历史作业实例
  7. 查看Job Manager和Task Managers日志。
    在Job Manager或Task Managers页签，分别单击对应的日志名称，进行查看。日志示例

在OSS上查看

  1. 登录OSS管理控制台。
  2. 在左侧导航栏，单击Bucket列表。
  3. 单击您开通Flink全托管服务时，配置的Bucket名称。
  4. 单击文件管理。
  5. 在对应目录，查看日志信息。日志目录
    文件夹 说明
    artifacts 上传的JAR包会被存储到该目录。
    flink-jobs Flink作业的Checkpoint会被存储到该目录。
    flink-savepoints 在Flink全托管开发控制台上，单击Savepoint，会触发Savepoint操作，最终的Savepoint文件会被存储到该目录。
    logs 如果您作业的日志模板选择了OSS，则您的作业的日志会被存储到该目录。
    说明 logs目录下作业存储路径为：logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM（Job Manager）和TM（Task Manager）日志。

在SLS上查看

  1. 登录日志服务控制台。
  2. 在全部的Project区域，单击目标Project。
  3. 在日志库页签，单击目标Logstore。
  4. 输入查询分析语句，选择时间范围，单击查询/分析。
    详情请参见查询和分析日志。