查看历史作业实例日志

实时计算Flink版支持在作业日志界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业日志界面、OSS或SLS上查看历史作业实例日志。

背景信息

如果出现以下情况,则您需要查看历史作业实例的日志:

  • 您需要查看、搜索和分析历史作业实例的运行日志(系统默认保留最近5 MB大小的运行日志)。

  • Flink UI无法打开,需要查看Job Manager日志定位问题。

本文为您介绍查看历史作业实例日志的三种途径:

前提条件

  • 作业日志页签查看历史作业实例日志,需要您在日志配置中已打开日志归档功能。默认已开启日志归档功能。查看历史作业实例日志2.jpg

  • 在OSS或者SLS上查看历史实例的日志,需要您在Flink全托管上已配置了历史作业实例的日志输出到OSS或者SLS,详情请参见配置作业日志输出

使用限制

  • 在VVR 3.x版本,仅VVR 3.0.7及以上版本支持查看历史作业实例的TM日志。

  • 在VVR 4.x版本,仅VVR 4.0.11及以上版本支持查看历史作业实例的TM日志。

注意事项

  • 当日志文件达到指定的大小时,系统将自动对日志进行归档,并定期清理超过归档有效期的日志文件,作业停止后未清理的归档日志会被保存下来,不会自动清理。若作业被删除,则相应的日志也将随之删除。

    说明

    2024年11月发布新版本后,实时计算管理控制台所有存量作业日志(包括作业停止后未清理的归档日志)只要超过了归档日志有效期都会被清理。

  • 如果Task Manager和Job Manager任意一个启动,日志都会写到SLS或OSS。但Task Manager和Job Manager都没有正常启动时,日志不会被写到SLS或OSS。

  • 如果因为Job Manager和Task Manager都没有正常启动,导致您在OSS上没有找到对应的日志文件,请联系我们。

  • 日志配置中默认会保留2个文件,每个文件大小为5 MB,不建议您修改该值。如果该日志保存大小不满足您的需求,则请将日志输出至OSS中。查看历史作业3.jpg

    说明

    图片上的文件个数不包括正在写的文件,即如果这里配置为1,则最多会保存2个文件,一个保存在内存中,一个保存在您的本地磁盘中。

在作业日志界面查看

  1. 登录实时计算控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏上,选择运维中心 > 作业运维

  4. 单击目标作业名称。

  5. 单击作业日志

  6. 在左侧运行日志页签,单击作业右侧的下拉框,选择历史运行作业。

    查看历史作业实例日志.jpg

  7. 查看Job Manager和Task Managers日志。

    Job ManagerTask Managers页签,分别单击对应的日志名称,进行查看。

在OSS上查看

  1. 登录OSS管理控制台

  2. 在左侧导航栏,单击Bucket列表

  3. 单击您开通Flink全托管服务时,配置的Bucket名称。

  4. 文件管理中,查看对应目录日志信息。

    文件夹

    说明

    artifacts

    上传的JAR包会被存储到该目录。

    flink-jobs

    Flink作业的Checkpoint会被存储到该目录。

    flink-savepoints

    Flink全托管开发控制台上,单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。

    logs

    如果您作业的日志模板选择了OSS,则您的作业的日志会被存储到该目录。

    说明

    logs目录下作业存储路径为:logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM(Job Manager)和TM(Task Manager)日志。

在SLS上查看

  1. 登录日志服务控制台

  2. 全部的Project区域,单击目标Project。

  3. 日志库页签,单击目标Logstore。

  4. 输入查询分析语句,选择时间范围,单击查询/分析

    详情请参见查询和分析日志