阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务,您无需修改代码,只需增加一个Log4j或Logback的配置,即可在控制台看到每次任务调度(包括分布式任务)的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。

前提条件

接入配置

升级SchedulerX客户端版本

将SchedulerX客户端版本升级到1.4.0以上版本,以Spring Boot Starter为例,在应用程序的pom.xml文件中添加SchedulerxWorker依赖。

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-spring-boot-starter</artifactId>
    <version>1.3.4</version>
</dependency>

配置Log Appender采集日志服务

Log4j2 Appender

  • 方法一:单独收集任务调度日志

    该方法可以由业务自己控制,只将任务调度日志采集,其他业务代码不会采集,方便排查问题。

    1. log4j2增加一个Appender和Logger如下:
      <?xml version="1.0" encoding="UTF-8"?>
      <Configuration status="off">
          <Appenders>
              <Console name="Console" target="SYSTEM_OUT">
                  <PatternLayout
                      pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n" />
              </Console>
              <SchedulerxLog4j2Appender name="schedulerxLog"
                  timeFormat="yyyy-MM-dd'T'HH:mmZ"
                  timeZone="UTC"
                  ignoreExceptions="true">
              <PatternLayout pattern="%d %-5level [%thread] %logger{0}: %msg"/>
          </SchedulerxLog4j2Appender>
          </Appenders>
          <Loggers>
              <Root level="info">
                  <AppenderRef ref="Console" />
              </Root>
              <Logger name="schedulerx" level="info" additivity="false">
                  <AppenderRef ref="schedulerxLog" />
              </Logger>
          </Loggers>
      </Configuration>
    2. 修改业务代码如下,使用Logger: schedulerx采集任务调度的日志。
      package com.hxm.test.processor;
      
      import com.alibaba.schedulerx.worker.domain.JobContext;
      import com.alibaba.schedulerx.worker.processor.JavaProcessor;
      import com.alibaba.schedulerx.worker.processor.ProcessResult;
      
      import org.slf4j.Logger;
      import org.slf4j.LoggerFactory;
      import org.springframework.stereotype.Component;
      
      
      @Component
      public class HelloWorldJob3 extends JavaProcessor {
          private static final Logger logger = LoggerFactory.getLogger("schedulerx");
      
          @Override
          public ProcessResult process(JobContext context) throws Exception {
              LOGGER.info("hello HelloWorldJob3");
              return new ProcessResult(true);
          }
      
      }
  • 方法二:搜集所有业务日志

    该方法只需要配置Log4j文件,不需要修改一行业务代码。如果将SchedulerxLog配置在rootLogger里,会让所有日志都通过SchedulerX采集,不仅搜索速度较慢,而且业务日志和任务调度日志会混在一起,难以排查问题。配置如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <Configuration status="off">
        <Appenders>
            <Console name="Console" target="SYSTEM_OUT">
                <PatternLayout
                    pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n" />
            </Console>
            <SchedulerxLog4j2Appender name="schedulerxLog"
                timeFormat="yyyy-MM-dd'T'HH:mmZ"
                timeZone="UTC"
                ignoreExceptions="true">
            <PatternLayout pattern="%d %-5level [%thread] %logger{0}: %msg"/>
        </SchedulerxLog4j2Appender>
        </Appenders>
        <Loggers>
            <Root level="info">
              <AppenderRef ref="Console" />
              <AppenderRef ref="schedulerxLog" />
            </Root>
        </Loggers>
    </Configuration>

Log4j Appender

  • 方法一:单独收集任务调度日志
    1. log4j.properties增加一个Appender和Logger。
      log4j.rootLogger = INFO,console
      log4j.logger.schedulerx=schedulerxLog
      log4j.appender.schedulerxLog=com.alibaba.schedulerx.worker.log.appender.SchedulerxLog4jAppender
    2. 修改业务代码如下,使用Logger: schedulerx采集任务调度的日志。
      package com.hxm.test.processor;
      
      import com.alibaba.schedulerx.worker.domain.JobContext;
      import com.alibaba.schedulerx.worker.processor.JavaProcessor;
      import com.alibaba.schedulerx.worker.processor.ProcessResult;
      
      import org.slf4j.Logger;
      import org.slf4j.LoggerFactory;
      import org.springframework.stereotype.Component;
      
      
      @Component
      public class HelloWorldJob3 extends JavaProcessor {
          private static final Logger logger = LoggerFactory.getLogger("schedulerx");
      
          @Override
          public ProcessResult process(JobContext context) throws Exception {
              logger.info("hello HelloWorldJob3");
              return new ProcessResult(true);
          }
      
      }
  • 方法二:收集所有日志
    log4j.properties增加一个Appender,将这个Appender配置在rootLogger里:
    log4j.rootLogger = INFO,console,schedulerxLog
    log4j.appender.schedulerxLog=com.alibaba.schedulerx.worker.log.appender.SchedulerxLog4jAppender

Logback Appender

说明 SchedulerxLogbackAppender这个类在依赖的sdk schedulerx2-worker jar包里面,需要升级到指定版本以上(建议采用最新版本:1.6.1)。
  • 方法一:单独收集任务调度日志
    1. logback.xml增加一个Appender和Logger。
      <appender name="schedulerxLog" class="com.alibaba.schedulerx.worker.log.appender.SchedulerxLogbackAppender">
          <timeFormat>yyyy-MM-dd'T'HH:mmZ</timeFormat>
          <timeZone>UTC</timeZone>
      </appender>
      
      <root level="INFO">
          <appender-ref ref="CONSOLE" />
      </root>
      <logger name="schedulerx" level="INFO">
          <appender-ref ref="schedulerxLog"/>
      </logger>
    2. 修改业务代码如下,使用Logger: schedulerx采集任务调度的日志。
      package com.hxm.test.processor;
      
      import com.alibaba.schedulerx.worker.domain.JobContext;
      import com.alibaba.schedulerx.worker.processor.JavaProcessor;
      import com.alibaba.schedulerx.worker.processor.ProcessResult;
      
      import org.slf4j.Logger;
      import org.slf4j.LoggerFactory;
      import org.springframework.stereotype.Component;
      
      
      @Component
      public class HelloWorldJob3 extends JavaProcessor {
          private static final Logger logger = LoggerFactory.getLogger("schedulerx");
      
          @Override
          public ProcessResult process(JobContext context) throws Exception {
              LOGGER.info("hello HelloWorldJob3");
              return new ProcessResult(true);
          }
      
      }
  • 方法二:收集所有日志
    logback.xml增加一个Appender,将其配置在rootLogger里:
    <appender name="schedulerxLog" class="com.alibaba.schedulerx.worker.log.appender.SchedulerxLogbackAppender">
        <timeFormat>yyyy-MM-dd'T'HH:mmZ</timeFormat>
        <timeZone>UTC</timeZone>
    </appender>
    
    <root level="INFO">
        <appender-ref ref="CONSOLE" />
        <appender-ref ref="schedulerxLog"/>
    </root>

查看输出的日志

  1. 登录分布式任务调度平台
  2. 在左侧导航栏单击任务管理
  3. 在任务列表中找到目标任务,在目标任务的操作列选择AAA > 历史记录
  4. 任务示例记录页面单击目标任务操作列的日志
    GG

日志中关键词的定义如下:

  • ip: 打印该日志的执行机器。
  • executionId: 本次任务实例的执行ID,格式为${jobId}_${jobInstanceId}_${taskId}
  • level: 日志的级别。
  • log:日志的信息。
  • throwable: 应用抛出异常时,会打印该字段。
  • time:打印日志的时间。

应用场景及演示

查询业务失败的原因

SchedulerX 2.0的日志服务,可以收集任务的执行日志和异常,包括Service的日志都可以收集。

  1. 新建代码。
    1. 新建任务代码,配置使用SchedulerX打印日志。
      package com.hxm.test.processor;
      
      import com.alibaba.schedulerx.test.service.TestService;
      import com.alibaba.schedulerx.worker.domain.JobContext;
      import com.alibaba.schedulerx.worker.processor.JavaProcessor;
      import com.alibaba.schedulerx.worker.processor.ProcessResult;
      
      import org.apache.logging.log4j.LogManager;
      import org.apache.logging.log4j.Logger;
      import org.springframework.beans.factory.annotation.Autowired;
      import org.springframework.stereotype.Component;
      
      @Component
      public class HelloWorldJob extends JavaProcessor {
          //使用SchedulerX收集日志
          private static final Logger LOGGER = LogManager.getLogger("schedulerx");
      
          @Autowired
          private TestService testService;
      
          @Override
          public ProcessResult process(JobContext context) throws Exception {
              String parameters = context.getJobParameters();
              String tokens[] = parameters.split(" ");
              int a = Integer.valueOf(tokens[0]);
              int b = Integer.valueOf(tokens[1]);
              int c = testService.doDivision(a, b);
              LOGGER.info("testService.doDivision finished, a={}, b={}, c={}", a, b, c);
              if (c < 0) {
                  return new ProcessResult(false, "result=" + c);
              }
              return new ProcessResult(true);
          }
      
      }
    2. 新建Service业务代码,配置使用SchedulerX打印日志。
      package com.hxm.test.service;
      
      import org.apache.logging.log4j.LogManager;
      import org.apache.logging.log4j.Logger;
      import org.springframework.stereotype.Service;
      
      @Service("testService")
      public class TestServiceImpl implements TestService {
          //使用SchedulerX收集日志。
          private static final Logger LOGGER = LogManager.getLogger("schedulerx");
      
          @Override
          public int doDivision(int a, int b) {
              try {
                   LOGGER.info("start to do division c = " + a + "/" + b);
                   int c = a/b;
                   LOGGER.info("c=" + c);
                   return c;
              } catch (Exception e) {
                  LOGGER.error("", e);
              }
              return -1;
          }
      
      }
  2. 控制台配置任务。
    根据代码逻辑可知1除以0肯定会抛出异常。01p
  3. 任务运行一次后,通过任务实例列表,查看日志。
    查看日志
    根据日志内容,可得出失败的原因是TestServiceImpl抛出了除0的异常。日志除0

查询分布式任务失败原因

SchedulerX 2.0的分布式任务用来执行批量任务,例如某个任务批次执行失败了,您想查询具体是哪个子任务失败时,可执行如下操作:

  1. 新建任务代码,配置使用SchedulerX打印日志。
    package com.hxm.test.processor;
    
    import java.util.ArrayList;
    import java.util.List;
    
    import com.alibaba.schedulerx.worker.domain.JobContext;
    import com.alibaba.schedulerx.worker.processor.MapJobProcessor;
    import com.alibaba.schedulerx.worker.processor.ProcessResult;
    
    import org.apache.logging.log4j.LogManager;
    import org.apache.logging.log4j.Logger;
    
    public class TestMapJobProcessor extends MapJobProcessor {
        private static final Logger LOGGER = LogManager.getLogger("schedulerx");
    
        @Override
        public ProcessResult process(JobContext context) throws Exception {
            String taskName = context.getTaskName();
            String parameter = context.getJobParameters();
            int dispatchNum = Integer.valueOf(parameter);
            if (isRootTask(context)) {
                LOGGER.info("start root task");
                List<String> msgList = new ArrayList<>();
                for (int i = 0; i <= dispatchNum; i++) {
                    msgList.add("msg_" + i);
                }
    
                return map(msgList, "Level1Dispatch");
            } else if (taskName.equals("Level1Dispatch")) {
                String task = (String)context.getTask();
                if (task.equals("msg_23")) {
                    LOGGER.error("msg={}, failed", task);
                    return new ProcessResult(false);
                } else {
                    LOGGER.info("msg={}, success", task);
                }
                return new ProcessResult(true);
            }
            return new ProcessResult(false);
        }
    }
                            
  2. 控制台配置任务并执行一次。
    网格
  3. 查看日志。具体操作,请参见查看输出的日志
  4. 在日志中搜索关键字,快速定位失败的任务及原因。
    HH

根据关键字查询历史日志

任务实例的历史记录只保留最近60条。如果想排查历史上任务失败的原因,可以通过控制台左侧导航栏的日志查询来检索。日志查询支持根据任务ID、关键字和时间区间搜索。

UU

示例Demo