备案控制台
文档
产品文档
输入文档关键字查找
首页 Serverless 应用引擎 操作指南 SAE 2.0 高级设置 设置日志收集到Kafka

设置日志收集到Kafka

更新时间：
一键部署
产品详情
相关技术圈
我的收藏

Serverless 应用引擎 SAE（Serverless App Engine）支持将应用实例的标准输出（stdout），以及将应用实例指定路径的日志采集到云消息队列 Kafka 版（ApsaraMQ for Kafka）中。在此基础上，您可以结合自身的业务场景，将Kafka的数据投递到例如Elasticsearch等其他持久化库中，便于集中管理和分析日志。本文介绍如何设置日志收集到Kafka，以及的使用场景、操作步骤与采集格式说明。

背景信息

将SAE日志导入Kafka的功能是对SLS日志采集功能的补充增强，适用于不便使用SLS采集、RAM用户（子账号）无法查看SLS日志等场景。

前提条件

  • 开通Kafka并创建Topic。SAE支持Kafka 2.x及以上版本的实例。

  • 如果Kafka的实例通过内网采集，无公网访问能力，则Kafka集群需要和SAE的实例在同一个VPC内。

  • 配置Kafka白名单

    • 如果VPC一致，但vSwitch不一致，需要在Kafka实例页面将SAE的vSwitch添加至白名单。

    • 如果需要设置为VPC内可访问，设置为0.0.0.0/0即可。

使用限制

仅适用于微服务应用。

操作步骤

日志收集既可以在创建应用时设置，也可以在更新应用时设置。本文以创建应用时为例，更新应用时的具体操作，请参见设置日志收集至Kafka。

  1. 登录SAE控制台。

  2. 在左侧导航栏，单击应用管理，在顶部菜单栏选择地域，然后在应用列表页面，单击创建应用。

  3. 在应用基本信息配置向导，命名空间类型指定为选择已有命名空间，绑定对应的VPC、vSwitch和安全组，并配置其余信息，然后单击下一步：高级设置。

  4. 在高级设置配置向导的日志配置区域，打开开启Kafka日志服务开关，并配置相关信息，然后单击创建应用。

    配置项

    说明

    Kafka实例

    选择目标实例。

    采集日志类型

    选择日志类型。

    • 文件日志（容器内日志路径）：可以设置多条。

    • 容器标准输出日志：仅可以设置一条。

    日志源

    输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。容器标准输出无需设置此选项。文件名与路径支持正则匹配，同一目录下，如果日志文件数量多且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log的格式。

    重要

    请勿在日志源的存放目录中存放其他重要文件，避免目录内的文件被覆盖。

    Kafka Topic名称

    选择已创建的Kafka Topic。

    应用部署完成后，SAE将依据所配的日志收集规则收集日志并存放到指定的文件内。

格式说明

当您成功配置日志采集到Kafka后，得到的采集数据格式如下。

{
    "file":"/home/admin/apache-tomcat-8.5.42/logs/localhost.2022-03-01.log",
    "host":"test-kafka-9527eec8-b2c1-4f03-9178-5dac0fe16d07-*****",
    "message":"01-Mar-2022 15:09:36.016 INFO [localhost-startStop-1] org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath",
    "topic":"test2"
}

参数说明如下。

  • file：采集的文件路径。

  • host：采集的实例名称。

  • message：采集的具体日志内容。

  • topic：发送的Kafka Topic。

多行采集说明

  • 目前Java应用出现的异常情况表现为日志会被自动合并到一行。Java异常日志示例如下：

    java.lang.RuntimeException: testLog
    at cn.niutong.controller.TestController.heathc(TestController.java:141)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
  at ...

  • 检测到换行符\n的情况下，日志会被重新写到新的一条里面。建议您在业务程序中，将日志包装成一个JSON字符串，作为一行统一对外输出。

常见问题

  • SAE日志采集到Kafka是否支持通配符？

    支持。您可以通过设置星号（*）来表示某个文件夹下的所有文件，例如/tmp/logs/*.log。

  • 采集不到日志是什么原因导致的？

    可能跟网络有关。您可以按照以下步骤进行排查：

    1. 登录SAE的Webshell，使用telnet命令确认Kafka实例地址、查看网络是否正常连接。关于Webshell的具体信息，请参见查看版本实例。

    2. 确认网络状态。

      • 网络不同：确认SAE应用和Kafka实例是否在同一个VPC内，以及是否设置了白名单。

      • 网络正常：加入钉群（钉群号：32874633），联系产品技术专家进行咨询。

文档推荐
  • 本页导读 （1）
文档反馈