实时计算Flink版支持在作业日志界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业日志界面、OSS或SLS上查看历史作业实例日志。
背景信息
如果出现以下情况,则您需要查看历史作业实例的日志:
您需要查看、搜索和分析历史作业实例的运行日志(系统默认保留最近5 MB大小的运行日志)。
Flink UI无法打开,需要查看Job Manager日志定位问题。
前提条件
在作业日志页签查看历史作业实例日志,需要您在日志配置中已打开日志归档功能。默认已开启日志归档功能。
在OSS或者SLS上查看历史实例的日志,需要您在Flink全托管上已配置了历史作业实例的日志输出到OSS或者SLS,详情请参见配置作业日志输出。
使用限制
在VVR 3.x版本,仅VVR 3.0.7及以上版本支持查看历史作业实例的TM日志。
在VVR 4.x版本,仅VVR 4.0.11及以上版本支持查看历史作业实例的TM日志。
注意事项
当日志文件达到指定的大小时,系统将自动对日志进行归档,并定期清理超过归档有效期的日志文件,作业停止后未清理的归档日志会被保存下来,不会自动清理。若作业被删除,则相应的日志也将随之删除。
说明2024年11月发布新版本后,实时计算管理控制台所有存量作业日志(包括作业停止后未清理的归档日志)只要超过了归档日志有效期都会被清理。
如果Task Manager和Job Manager任意一个启动,日志都会写到SLS或OSS。但Task Manager和Job Manager都没有正常启动时,日志不会被写到SLS或OSS。
如果因为Job Manager和Task Manager都没有正常启动,导致您在OSS上没有找到对应的日志文件,请联系我们。
日志配置中默认会保留2个文件,每个文件大小为5 MB,不建议您修改该值。如果该日志保存大小不满足您的需求,则请将日志输出至OSS中。
说明图片上的文件个数不包括正在写的文件,即如果这里配置为1,则最多会保存2个文件,一个保存在内存中,一个保存在您的本地磁盘中。
在作业日志界面查看
登录实时计算控制台。
单击目标工作空间操作列下的控制台。
在左侧导航栏上,选择 。
单击目标作业名称。
单击作业日志。
在左侧运行日志页签,单击作业右侧的下拉框,选择历史运行作业。
查看Job Manager和Task Managers日志。
在Job Manager或Task Managers页签,分别单击对应的日志名称,进行查看。
在OSS上查看
登录OSS管理控制台。
在左侧导航栏,单击Bucket列表。
单击您开通Flink全托管服务时,配置的Bucket名称。
在文件管理中,查看对应目录日志信息。
文件夹
说明
artifacts
上传的JAR包会被存储到该目录。
flink-jobs
Flink作业的Checkpoint会被存储到该目录。
flink-savepoints
在Flink全托管开发控制台上,单击Savepoint,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。
logs
如果您作业的日志模板选择了OSS,则您的作业的日志会被存储到该目录。
说明logs目录下作业存储路径为:logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM(Job Manager)和TM(Task Manager)日志。