文档

设置日志收集至Kafka

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

Serverless应用引擎SAE(Serverless App Engine)支持将应用实例的标准输出(stdout),以及将应用实例指定路径的日志采集到云消息队列 Kafka 版中。在此基础上,您可以结合自身的业务场景,将Kafka的数据投递到例如Elasticsearch等其他持久化库中,便于集中管理和分析日志。本文介绍在SAE控制台设置日志收集到Kafka的使用场景、操作步骤与采集格式说明。

前提条件

  • SAE

    确保应用中每个实例至少预留0.25 Core CPU和250 MB内存的可用资源。

  • Kafka
    • 开通Kafka并创建TopicSAE支持Kafka 2.x及以上版本的实例。
    • 如果Kafka的实例通过内网采集,无公网访问能力,则Kafka集群需要和SAE的实例在同一个VPC内。
    • 配置Kafka白名单
      • 如果VPC一致,但vSwitch不一致,需要在Kafka实例页面将SAE的vSwitch添加至白名单。
      • 如果需要设置为VPC内可访问,设置为0.0.0.0/0即可。

背景信息

SAE日志导入Kafka的功能是对SLS日志采集功能的补充增强,适用于不便使用SLS采集、RAM用户(子账号)无法查看SLS日志等场景。

配置文件日志收集

在创建应用过程中配置文件日志收集

  1. 登录SAE控制台
  2. 在左侧导航栏,选择应用管理 > 应用列表,在顶部菜单栏选择地域,然后单击创建应用
  3. 应用基本信息配置向导,设置应用相关信息,并单击下一步:应用部署配置
  4. 应用部署配置配置向导,选择技术栈语言应用部署方式,设置部署信息。
  5. 展开日志收集服务区域,单击日志采集到Kafka页签,打开开通日志收集到Kafka日志服务功能开关。
    配置项说明
    Kafka实例选择目标实例。
    采集日志类型选择日志类型。
    • 文件日志(容器内日志路径):可以设置多条,默认显示。
    • 容器标准输出日志:仅可以设置一条。当您的vSwitch属于推荐可用区时,下拉列表才会显示该选项。更多信息,请参见切换安全组和vSwitch
    日志源输入日志源存放的文件目录。目录须包含日志的文件名,例如/tmp0/cjsc.log。容器标准输出无需设置此选项。文件名与路径支持正则匹配,同一目录下,如果日志文件数量多且文件格式相同,可以输入例如/xxx/xxx/xxx/*.log的格式。
    重要 请勿在日志源的存放目录中存放其他重要文件,避免目录内的文件被覆盖。
    Kafka Topic名称选择已创建的Kafka Topic。
  6. 单击下一步:确认规格
  7. 确认规格配置向导,查看您所创建应用的详细信息以及配置费用情况,并单击确认创建
    页面会跳转至创建完成配置向导,您可以单击应用详情页进入基本信息页面。
  8. 验证结果。
    应用部署完成后,SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

    您可以在应用详情页面左侧导航栏中,选择日志管理 > 持久化日志,在持久化日志页面查看所收集的日志信息。

    如果存在日志数据,则表示日志收集配置成功,您可以依据日志信息进行相关业务分析。

在部署应用过程中配置文件日志收集

警告 重新部署应用后,该应用将会被重启。为避免业务中断等不可预知的错误,请在业务低峰期执行部署操作。

更新应用配置的路径因实例数的不同而不同。本文以实例数大于等于1为例,介绍如何配置目标功能。当实例数等于0时的操作路径,请参见更新应用

  1. 登录SAE控制台
  2. 在左侧导航栏,选择应用管理 > 应用列表,在顶部菜单栏选择地域,然后单击具体应用名称。
  3. 基本信息页面右上角,单击部署应用
  4. 部署应用页面下方,展开日志收集服务区域,单击日志采集到Kafka页签,打开开通日志收集到Kafka日志服务功能开关。
    配置项说明
    Kafka实例选择目标实例。
    采集日志类型选择日志类型。
    • 文件日志(容器内日志路径):可以设置多条,默认显示。
    • 容器标准输出日志:仅可以设置一条。当您的vSwitch属于推荐可用区时,下拉列表才会显示该选项。更多信息,请参见切换安全组和vSwitch
    日志源输入日志源存放的文件目录。目录须包含日志的文件名,例如/tmp0/cjsc.log。容器标准输出无需设置此选项。文件名与路径支持正则匹配,同一目录下,如果日志文件数量多且文件格式相同,可以输入例如/xxx/xxx/xxx/*.log的格式。
    重要 请勿在日志源的存放目录中存放其他重要文件,避免目录内的文件被覆盖。
    Kafka Topic名称选择已创建的Kafka Topic。
  5. 配置完成后,单击确认
    重要 Kafka不支持同一个文件被同时采集到不同的Topic中。因此,如果您在应用部署时采用分批发布或者灰度发布策略,同时配置的日志源不变,只改变日志收集的Topic,那么在所有批次的部署流程成功完成之前,您的日志仍会收集到旧的Topic中。
  6. 验证结果。
    应用部署完成后,SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

    您可以在应用详情页面左侧导航栏中,选择日志管理 > 持久化日志,在持久化日志页面查看所收集的日志信息。

    如果存在日志数据,则表示日志收集配置成功,您可以依据日志信息进行相关业务分析。

格式说明

当您成功配置日志采集到Kafka后,得到的采集数据格式如下。

{
    "file":"/home/admin/apache-tomcat-8.5.42/logs/localhost.2022-03-01.log",
    "host":"test-kafka-9527eec8-b2c1-4f03-9178-5dac0fe16d07-*****",
    "message":"01-Mar-2022 15:09:36.016 INFO [localhost-startStop-1] org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath",
    "topic":"test2"
}
参数说明如下。
  • file:采集的文件路径。
  • host:采集的实例名称。
  • message:采集的具体日志内容。
  • topic:发送的Kafka Topic。

多行采集说明

  • 目前Java应用出现的异常情况表现为日志会被自动合并到一行。Java异常日志示例如下:
    java.lang.RuntimeException: testLog
        at cn.niutong.controller.TestController.heathc(TestController.java:141)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
      at ...
  • 检测到换行符\n的情况下,日志会被重新写到新的一条里面。建议您在业务程序中,将日志包装成一个JSON字符串,作为一行统一对外输出。

如果您有更多需求,例如想要实现多行合并,请加入钉群(钉群号:32874633),联系产品技术专家进行咨询。

常见问题

  • SAE日志采集到Kafka是否支持通配符?

    支持。您可以通过设置星号(*)来表示某个文件夹下的所有文件,例如/tmp/logs/*.log

  • 采集不到日志是什么原因导致的?
    可能跟网络有关。您可以按照以下步骤进行排查:
    1. 登录SAE的Webshell,使用telnet命令确认Kafka实例地址、查看网络是否正常连接。关于Webshell的具体信息,请参见使用Webshell诊断应用
    2. 确认网络状态。
      • 网络不同:确认SAE应用和Kafka实例是否在同一个VPC内,以及是否设置了白名单。
      • 网络正常:加入钉群(钉群号:32874633),联系产品技术专家进行咨询。
  • 本页导读 (1)
文档反馈