日志查询

查看并下载应用日志

日志筛选下载

1. 单击Dataphin Manager顶部菜单栏中的应用运维。

2. 在左侧导航栏选择应用运维 > 日志查询。

3. 在应用日志搜索页签下，可进行以下筛选。

   • 关键字：输入至少5个字符的关键字，单击搜索，搜索相关日志。可在下方搜索进度中查看各应用子域的搜索进度。

   • 应用子域名称：在下拉列表中选择一个或多个应用子域，可输入关键字搜索对应应用子域。

   • 日志类型：选择一个或多个日志类型，可选择应用日志、rpc日志、nginx日志、jvm日志、审计日志和mesos日志（mesos日志仅当调度集群为mesos时展示），默认选择应用日志、rpc日志、nginx日志和jvm日志。

   • 文件时间范围：可选择最近1天、最近2天、最近3天或最近5天，默认选择最近1天。

   • 展示上下文：输入关键字前n行和关键字后n行，n的取值范围为[1, 500]之间的正整数。

4. 单击日志筛选下载，下载筛选后的日志。

全量日志下载列表

1. 单击日志全量下载，在下载选择对话框中选择应用，单击确定后，完成创建下载任务。

2. 单击下载任务列表，下载任务列表中展示各下载任务的应用名称、Pod名称、下载时间和下载进度，单击对应下载任务操作列的下载，将应用日志下载至本地。

   说明

   • 默认只能下载压缩前小于1GB的目录。

   • 全量日志下载的日志为压缩文件，位于/home/admin/logs目录下，每次仅能选择下载一个应用的日志。

   • 下载任务列表中的日志存储在对象存储中，最多保存3天。

全链路日志搜索

在全链路日志搜索页签下，输入t开头的实例ID（实例ID可在实例运维列表中获取）进行搜索。搜索结果中展示当前实例的基本信息。基本信息中包含序号、实例创建时间和最后更新时间。其中序号，即重试的次数（系统将根据重试设置自动进行重试，而用户每次触发的重跑仅会执行一次）。

单击对应序号后的展开，单击对应实例的执行日志、任务调度日志、资源调度日志、执行器日志，可在右侧代码区域查看对应日志详情，单击对应类型日志后的图标下载相应日志。单击序号后的下载，可下载对应实例所有类型的日志。

• 执行日志：任务实例的执行日志。

• 任务调度日志：任务实例在任务调度系统被调度的日志。

• 资源调度日志：任务实例在资源调度系统被调度的日志。

• 执行器日志：任务实例在执行器中时执行器的日志。

Pod日志搜索

在Pod日志搜索页签下，选择命名空间（必选）、Pod（必选）、日志开始时间和限制行数，搜索相应Pod的日志。搜索到的Pod日志详情在下方代码块中展示。

• 命名空间：命名空间从K8s自动获取，包含Dataphin部署所需的命名空间，若混用K8s集群，也将包含其他的服务使用的命名空间。Dataphin使用的命名空间一般包含以下命名空间：

  • Dataphin：Dataphin应用的命名空间。

  • Dataphin-schedule-pool：Dataphin任务调度的命名空间。

  • stolon：Dataphin自建的PostgreSQL元数据库。

  • redis：Dataphin自建的Redis。

  • rocketmq：Dataphin自建的RocketMQ。

  • rook-ceph：Dataphin自建的Ceph对象存储。

• Pod：选择指定命名空间下的Pod。

• 日志开始时间：选择YYYY-MM-DD hh:mm:ss格式的时间后，搜索出的日志详情将仅包含所选时间之后的内容。Dataphin应用日志支持时间筛选，其他日志仅支持以YYYY-MM-DD hh:mm:ss格式的时间戳开头的日志进行时间筛选。

• 限制行数：搜索出的日志详情中包含几行内容，仅支持输入1～1000内的正整数。