Serverless应用引擎SAE（Serverless App Engine）支持将应用实例的标准输出（stdout），以及将应用实例指定路径的日志采集到消息队列Kafka版中。在此基础上，您可以结合自身的业务场景，将Kafka的数据投递到例如Elasticsearch等其他持久化库中，便于集中管理和分析日志。本文介绍在SAE控制台设置日志收集到Kafka的使用场景、操作步骤与采集格式说明。

前提条件

  • SAE

    确保应用中每个实例至少预留0.25 Core CPU和250 MB内存的可用资源。

  • Kafka
    • 开通Kafka并创建Topic。SAE支持Kafka 2.x及以上版本的实例。
    • 如果Kafka的实例通过内网采集，无公网访问能力，则Kafka集群需要和SAE的实例在同一个VPC内。
    • 配置Kafka白名单：
      • 如果VPC一致，但vSwitch不一致，需要在Kafka实例页面将SAE的vSwitch添加至白名单。
      • 如果需要设置为VPC内可访问，设置为0.0.0.0/0即可。

背景信息

将SAE日志导入Kafka的功能是对SLS日志采集功能的补充增强，适用于不便使用SLS采集、RAM用户（子账号）无法查看SLS日志等场景。

操作步骤

在创建应用过程中配置文件日志收集

  1. 登录SAE控制台。
  2. 在左侧导航栏，单击应用列表，在顶部菜单栏选择地域，然后单击创建应用。
  3. 在应用基本信息配置向导页面，设置应用相关信息，并单击下一步：应用部署配置。
  4. 在应用部署配置配置向导页面，选择技术栈语言和应用部署方式，设置部署信息。
  5. 展开日志收集服务区域，单击日志采集到Kafka页签，打开开通日志收集到Kafka日志服务功能开关。
    配置项 说明
    Kafka实例 选择目标实例。
    采集日志类型 选择日志类型。
    • 文件日志（容器内日志路径）：可以设置多条，默认显示。
    • 容器标准输出日志：仅可以设置一条。当您的vSwitch属于推荐可用区时，下拉列表才会显示该选项。您可以调用DescribeRegions接口查看推荐可用区。
    日志源 输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。容器标准输出无需设置此选项。
    重要 请勿在日志源的存放目录中存放其他重要文件，避免目录内的文件被覆盖。
    Kafka Topic名称 选择已创建的Kafka Topic。
  6. 单击下一步：确认规格。
  7. 在确认规格配置向导页面，查看您所创建应用的详细信息以及配置费用情况，并单击确认创建。
    页面会跳转至创建完成配置向导页面，您可以单击应用详情页进入基本信息页面。
  8. 验证结果。
    应用部署完成后，SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

    您可以在应用详情页面左侧导航栏中，选择日志管理 > 持久化日志，在持久化日志页面查看所收集的日志信息。

    如果存在日志数据，则表示日志收集配置成功，您可以依据日志信息进行相关业务分析。

在部署应用过程中配置文件日志收集

警告 重新部署应用后，该应用将会被重启。为避免对业务产生不可预估的影响，请在业务低峰期执行部署操作。

更新应用配置的路径因实例数的不同而不同。本文以实例数大于等于1为例，介绍如何配置目标功能。当实例数等于0时的操作路径，请参见更新应用。

  1. 登录SAE控制台。
  2. 在左侧导航栏，单击应用列表，在顶部菜单栏选择地域，然后单击具体应用名称。
  3. 在基本信息页面右上角，单击部署应用。
  4. 在部署应用页面下方，展开日志收集服务区域，单击日志采集到Kafka页签，打开开通日志收集到Kafka日志服务功能开关。
    配置项 说明
    Kafka实例 选择目标实例。
    采集日志类型 选择日志类型。
    • 文件日志（容器内日志路径）：可以设置多条，默认显示。
    • 容器标准输出日志：仅可以设置一条。当您的vSwitch属于推荐可用区时，下拉列表才会显示该选项。您可以调用DescribeRegions接口查看推荐可用区。
    日志源 输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。容器标准输出无需设置此选项。
    重要 请勿在日志源的存放目录中存放其他重要文件，避免目录内的文件被覆盖。
    Kafka Topic名称 选择已创建的Kafka Topic。
  5. 配置完成后，单击确认。
    重要 Kafka不支持同一个文件被同时采集到不同的Topic中。因此，如果您在应用部署时采用分批发布或者灰度发布策略，同时配置的日志源不变，只改变日志收集的Topic，那么在所有批次的部署流程成功完成之前，您的日志仍会收集到旧的Topic中。
  6. 验证结果。
    应用部署完成后，SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

    您可以在应用详情页面左侧导航栏中，选择日志管理 > 持久化日志，在持久化日志页面查看所收集的日志信息。

    如果存在日志数据，则表示日志收集配置成功，您可以依据日志信息进行相关业务分析。

格式说明

当您成功配置日志采集到Kafka后，得到的采集数据格式如下。 

{
    "file":"/home/admin/apache-tomcat-8.5.42/logs/localhost.2022-03-01.log",
    "host":"test-kafka-9527eec8-b2c1-4f03-9178-5dac0fe16d07-*****",
    "message":"01-Mar-2022 15:09:36.016 INFO [localhost-startStop-1] org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath",
    "topic":"test2"
}
参数说明如下。
  • file：采集的文件路径。
  • host：采集的实例名称。
  • message：采集的具体日志内容。
  • topic：发送的Kafka Topic。

多行采集说明

  • 目前Java应用出现的异常情况表现为日志会被自动合并到一行。Java异常日志示例如下：
    java.lang.RuntimeException: testLog
    at cn.niutong.controller.TestController.heathc(TestController.java:141)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
  at ...
  • 检测到换行符\n的情况下，日志会被重新写到新的一条里面。建议您在业务程序中，将日志包装成一个JSON字符串，作为一行统一对外输出。

如果您有更多需求，例如想要实现多行合并，请加入钉群（钉群号：32874633），联系产品技术专家进行咨询。

常见问题

  • SAE日志采集到Kafka是否支持通配符？

    支持。您可以通过设置星号（*）来表示某个文件夹下的所有文件，例如/tmp/logs/*.log。

  • 采集不到日志是什么原因导致的？
    可能跟网络有关。您可以按照以下步骤进行排查：
    1. 登录SAE的Webshell，使用telnet命令确认Kafka实例地址、查看网络是否正常连接。关于Webshell的具体信息，请参见使用Webshell诊断应用。
    2. 确认网络状态。
      • 网络不同：确认SAE应用和Kafka实例是否在同一个VPC内，以及是否设置了白名单。
      • 网络正常：加入钉群（钉群号：32874633），联系产品技术专家进行咨询。