如何接入SchedulerX日志服务_分布式任务调度(SchedulerX)-阿里云帮助中心

阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。

前提条件

（可选）创建命名空间。
创建资源。
应用升级为专业版并开通日志服务。具体操作，请参见如何升级为专业版。
说明
开通日志服务后，当前日志最多可保留2周，超过2周的日志会被清理。

接入配置

升级SchedulerX客户端版本

将SchedulerX客户端版本升级到最新版本，客户端最新版本，请参见客户端发布记录。以Spring Boot Starter为例，在应用程序的pom.xml文件中添加SchedulerxWorker依赖。

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-spring-boot-starter</artifactId>
    <version>${schedulerx最新版本}</version>  
</dependency>

配置Log Appender采集日志服务

Log4j2 Appender

方法一：单独收集任务调度日志

该方法可以由业务自己控制，只将任务调度日志采集，其他业务代码不会被采集，方便排查问题。

log4j2增加一个Appender和Logger如下：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="off">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout
                pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n" />
        </Console>
        <SchedulerxLog4j2Appender name="schedulerxLog"
            timeFormat="yyyy-MM-dd'T'HH:mmZ"
            timeZone="UTC"
            ignoreExceptions="true">
            <PatternLayout pattern="%d %-5level [%thread] %logger{0}: %msg"/>
        </SchedulerxLog4j2Appender>
    </Appenders>

    <Loggers>
        <Root level="info">
            <AppenderRef ref="Console" />
        </Root>
        <Logger name="schedulerx" level="info" additivity="false">
            <AppenderRef ref="schedulerxLog" />
        </Logger>
    </Loggers>
</Configuration>

修改业务代码如下，使用Logger: schedulerx采集任务调度的日志。

package com.hxm.test.processor;

import com.alibaba.schedulerx.worker.domain.JobContext;
import com.alibaba.schedulerx.worker.processor.JavaProcessor;
import com.alibaba.schedulerx.worker.processor.ProcessResult;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;


@Component
public class HelloWorldJob3 extends JavaProcessor {
    private static final Logger logger = LoggerFactory.getLogger("schedulerx");

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        LOGGER.info("hello HelloWorldJob3");
        return new ProcessResult(true);
    }

}

方法二：搜集所有业务日志

该方法只需要配置Log4j文件，不需要修改一行业务代码。如果将SchedulerxLog配置在rootLogger里，会让所有日志都通过SchedulerX采集，不仅搜索速度较慢，而且业务日志和任务调度日志会混在一起，难以排查问题。配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="off">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout
                pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n" />
        </Console>
        <SchedulerxLog4j2Appender name="schedulerxLog"
            timeFormat="yyyy-MM-dd'T'HH:mmZ"
            timeZone="UTC"
            ignoreExceptions="true">
            <PatternLayout pattern="%d %-5level [%thread] %logger{0}: %msg"/>
        </SchedulerxLog4j2Appender>
    </Appenders>

    <Loggers>
        <Root level="info">
            <AppenderRef ref="Console" />
            <AppenderRef ref="schedulerxLog" />
        </Root>
    </Loggers>
</Configuration>

Log4j Appender

方法一：单独收集任务调度日志

log4j.properties增加一个Appender和Logger。

log4j.rootLogger = INFO,console
log4j.logger.schedulerx=schedulerxLog
log4j.appender.schedulerxLog=com.alibaba.schedulerx.worker.log.appender.SchedulerxLog4jAppender

修改业务代码如下，使用Logger: schedulerx采集任务调度的日志。

package com.hxm.test.processor;

import com.alibaba.schedulerx.worker.domain.JobContext;
import com.alibaba.schedulerx.worker.processor.JavaProcessor;
import com.alibaba.schedulerx.worker.processor.ProcessResult;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;


@Component
public class HelloWorldJob3 extends JavaProcessor {
    private static final Logger logger = LoggerFactory.getLogger("schedulerx");

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        logger.info("hello HelloWorldJob3");
        return new ProcessResult(true);
    }

}

方法二：收集所有日志

log4j.properties增加一个Appender，将这个Appender配置在rootLogger里：

log4j.rootLogger = INFO,console,schedulerxLog
log4j.appender.schedulerxLog=com.alibaba.schedulerx.worker.log.appender.SchedulerxLog4jAppender

Logback Appender

说明

SchedulerxLogbackAppender这个类在依赖的SDK schedulerx2-worker JAR包里面，需要升级SchedulerX客户端到最新版本。客户端最新版本，请参见客户端发布记录。

方法一：单独收集任务调度日志

logback.xml增加一个Appender和Logger。

<appender name="schedulerxLog" class="com.alibaba.schedulerx.worker.log.appender.SchedulerxLogbackAppender">
    <timeFormat>yyyy-MM-dd'T'HH:mmZ</timeFormat>
    <timeZone>UTC</timeZone>
</appender>

<root level="INFO">
    <appender-ref ref="CONSOLE" />
</root>

<logger name="schedulerx" level="INFO">
    <appender-ref ref="schedulerxLog"/>
</logger>

修改业务代码如下，使用Logger: schedulerx采集任务调度的日志。

package com.hxm.test.processor;

import com.alibaba.schedulerx.worker.domain.JobContext;
import com.alibaba.schedulerx.worker.processor.JavaProcessor;
import com.alibaba.schedulerx.worker.processor.ProcessResult;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;


@Component
public class HelloWorldJob3 extends JavaProcessor {
    private static final Logger logger = LoggerFactory.getLogger("schedulerx");

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        LOGGER.info("hello HelloWorldJob3");
        return new ProcessResult(true);
    }

}

方法二：收集所有日志

logback.xml增加一个Appender，将其配置在rootLogger里：

<appender name="schedulerxLog" class="com.alibaba.schedulerx.worker.log.appender.SchedulerxLogbackAppender">
    <timeFormat>yyyy-MM-dd'T'HH:mmZ</timeFormat>
    <timeZone>UTC</timeZone>
</appender>

<root level="INFO">
    <appender-ref ref="CONSOLE" />
    <appender-ref ref="schedulerxLog"/>
</root>

查看输出的日志

登录分布式任务调度平台。
在左侧导航栏单击任务管理。
在任务列表中找到目标任务，在目标任务的操作列选择更多 > 历史记录，进入到任务实例记录页面。
在任务实例记录页面，单击目标任务操作列的日志。

日志中关键词的定义如下：

ip: 打印该日志的执行机器。
executionId: 本次任务实例的执行ID，格式为${jobId}_${jobInstanceId}_${taskId}。
level: 日志的级别。
log：日志的信息。
throwable: 应用抛出异常时，会打印该字段。
time：打印日志的时间。

应用场景及演示

查询业务失败的原因

SchedulerX 2.0的日志服务可以收集任务的执行日志和异常，包括Service的日志都可以收集。

新建代码。

新建任务代码，配置使用SchedulerX打印日志。

package com.hxm.test.processor;

import com.alibaba.schedulerx.test.service.TestService;
import com.alibaba.schedulerx.worker.domain.JobContext;
import com.alibaba.schedulerx.worker.processor.JavaProcessor;
import com.alibaba.schedulerx.worker.processor.ProcessResult;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

@Component
public class HelloWorldJob extends JavaProcessor {
    /**使用SchedulerX收集日志**/
    private static final Logger LOGGER = LogManager.getLogger("schedulerx");

    @Autowired
    private TestService testService;

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        String parameters = context.getJobParameters();
        String tokens[] = parameters.split(" ");
        int a = Integer.valueOf(tokens[0]);
        int b = Integer.valueOf(tokens[1]);
        int c = testService.doDivision(a, b);
        LOGGER.info("testService.doDivision finished, a={}, b={}, c={}", a, b, c);
        if (c < 0) {
            return new ProcessResult(false, "result=" + c);
        }
        return new ProcessResult(true);
    }

}

新建Service业务代码，配置使用SchedulerX打印日志。

package com.hxm.test.service;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.stereotype.Service;

@Service("testService")
public class TestServiceImpl implements TestService {
    /**使用SchedulerX收集日志**/
    private static final Logger LOGGER = LogManager.getLogger("schedulerx");

    @Override
    public int doDivision(int a, int b) {
        try {
             LOGGER.info("start to do division c = " + a + "/" + b);
             int c = a/b;
             LOGGER.info("c=" + c);
             return c;
        } catch (Exception e) {
            LOGGER.error("", e);
        }
        return -1;
    }

}

控制台配置任务。
根据代码逻辑可知1除以0肯定会抛出异常。
任务运行一次后，通过任务实例列表查看日志。
根据日志内容，可得出失败的原因是TestServiceImpl抛出了除0的异常。

查询分布式任务失败原因

SchedulerX 2.0的分布式任务用来执行批量任务，例如某个任务批次执行失败了，您想查询具体是哪个子任务失败时，可执行如下操作：

新建任务代码，配置使用SchedulerX打印日志。

package com.hxm.test.processor;

import java.util.ArrayList;
import java.util.List;

import com.alibaba.schedulerx.worker.domain.JobContext;
import com.alibaba.schedulerx.worker.processor.MapJobProcessor;
import com.alibaba.schedulerx.worker.processor.ProcessResult;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

public class TestMapJobProcessor extends MapJobProcessor {
    private static final Logger LOGGER = LogManager.getLogger("schedulerx");

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        String taskName = context.getTaskName();
        String parameter = context.getJobParameters();
        int dispatchNum = Integer.valueOf(parameter);
        if (isRootTask(context)) {
            LOGGER.info("start root task");
            List<String> msgList = new ArrayList<>();
            for (int i = 0; i <= dispatchNum; i++) {
                msgList.add("msg_" + i);
            }

            return map(msgList, "Level1Dispatch");
        } else if (taskName.equals("Level1Dispatch")) {
            String task = (String)context.getTask();
            if (task.equals("msg_23")) {
                LOGGER.error("msg={}, failed", task);
                return new ProcessResult(false);
            } else {
                LOGGER.info("msg={}, success", task);
            }
            return new ProcessResult(true);
        }
        return new ProcessResult(false);
    }
}

控制台配置任务并执行一次。
查看日志。具体操作，请参见查看输出的日志。
在日志中搜索关键字，快速定位失败的任务及原因。

根据关键字查询历史日志

任务实例的历史记录只保留最近60条。如果想排查历史上任务失败的原因，可以通过控制台左侧导航栏的日志查询来检索。日志查询支持根据任务ID、关键字和时间区间搜索。

示例Demo

Log4j2 Demo下载地址：https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/examples/schedulerx-example-log-log4j2.tar.gz
Logback Demo下载地址：https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/examples/schedulerx-example-log-logback.tar.gz