您可以通过编辑实时计算作业参数,自定义实时计算作业日志的下载级别和下载路径。

说明 仅实时计算3.2及以上版本支持日志输出级别和路径的自定义功能。

自定义日志下载级别和下载路径的步骤

  1. 登录实时计算控制台
  2. 单击页面顶部的开发
  3. 在左侧导航栏的作业开发区域,双击文件夹,查找目标作业。
  4. 双击目标作业,进入作业编辑页面。
  5. 在作业编辑页面右侧的作业参数页面,输入log4配置信息。
  6. 停止作业。作业停止步骤请参见停止
  7. 启动作业。作业启动步骤请参见启动

注意事项

  • 选择和独享模式集群相同的OSS存储路径。
  • 日志下载包含的日志为log4j的输出方式,不包含system.out日志。
  • 自定义Appender目前只支持SLS和OSS,且对应的类是固定的,如下所示:
    • SLS:log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender
    • OSS:log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender
  • 指定的SLS或OSS存储和作业所在集群可联通。
  • 若自定义日志输出方式配置错误,作业通常可以成功启动,但日志打印不能按照自定义配置进行输出。

场景1

  • 场景描述

    您需要将日志级别改为DEBUG,并将日志发送至OSS存储空间。

  • 作业参数设置方法
    注意 手动配置log4j.rootLogger参数会导致实时计算平台无法查看日志信息以及排查相关问题,请谨慎使用。
    #将总体日志级别修改为DEBUG, 输出到文件及OSS存储。
    log4j.rootLogger=DEBUG, file, oss
    
    #固定写法。配置OSS的appender类。
    log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender
    
    #Endpoint地址。
    log4j.appender.oss.endpoint=oss-cn-hangzhou****.aliyuncs.com
    
    #accessId。
    log4j.appender.oss.accessId=U****4ZF  
    
    #accessKey。
    log4j.appender.oss.accessKey=hsf****DeLw   
    
    #bucket名称。
    log4j.appender.oss.bucket=et**** 
    
    #定义日志存储的子目录。                          
    log4j.appender.oss.subdir=/luk****/test/
说明 完成作业参数编辑后,请重启作业。新生成的日志即可在OSS存储空间查看。

场景2

  • 场景描述

    您需要排除指定类的日志,并把错误级别日志发送至自定义的SLS存储。

  • 作业参数设置方法
    #关闭这个包下面的日志输出。
    log4j.logger.org.apache.hadoop=OFF
    
    #固定写法。配置Loghub的appender类。                                       
    log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender
    
    #仅将ERROR级别日志发往SLS。
    log4j.appender.loghub.Threshold = ERROR
    #SLS中的project名称。
    log4j.appender.loghub.projectName = blink-errdumpsls-test
    
    #SLS中的logstore名称。
    log4j.appender.loghub.logstore = logstore-3
    
    #SLS的Endpoint地址。
    log4j.appender.loghub.endpoint = http://cn-shanghai****.sls.aliyuncs.com
    #accessKeyId。
    log4j.appender.loghub.accessKeyId = Tq****WR
    
    #accessKey。
    log4j.appender.loghub.accessKey = MJ****nfVx