设置日志收集至SLS

注意事项

• 一个阿里云账号最多可创建200个Logstore资源、50个Project资源。
  警告 日志服务基础资源的使用限制，会影响SAE应用的日志收集结果，例如导致日志保存时间过短、日志收集失败等。更多使用限制，请参见基础资源。
• 应用开始创建后，系统自动检查SLS服务是否开启、内置资源是否充足。
  • 如果SLS服务未开启，请按提示开通。
  • 如果内置资源不足，请加入钉群（钉群号：32874633）申请提升额度。
• 使用SLS会产生额外费用，文件日志收集功能按日志使用量计费。计费详情，请参见SLS计费说明。

配置文件日志收集

在创建应用过程中配置文件日志收集

1. 登录SAE控制台。
2. 在左侧导航栏，单击应用列表，在顶部菜单栏选择地域，然后单击创建应用。
3. 在应用基本信息配置向导页面，配置相关信息，然后单击下一步：应用部署配置。
4. 在应用部署配置配置向导页面，选择技术栈语言和应用部署方式，配置相关信息。
5. 展开日志收集服务区域，在默认显示的日志采集到SLS页签，打开开通日志收集到SLS日志服务功能开关，并配置相关配置项。
   按需选择新建SLS资源或使用已有的SLS资源，单击+添加并配置相关配置项。

   配置项	说明
   以下配置项供选择新建SLS资源和使用已有的SLS资源时通用。
   采集日志类型	在下拉列表选择日志类型。 文件日志（容器内日志路径）：可以设置多条，默认显示。 容器标准输出日志：仅可以设置一条。 说明 当您的vSwitch属于推荐可用区时，下拉列表才会显示该选项。您可以调用DescribeRegions接口查看推荐可用区。
   日志源	输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。 说明 请勿在日志源的存放目录中存放其他重要文件，避免目录内的文件被覆盖。
   以下配置项仅供选择使用已有的SLS资源时设置。
   使用已有的SLS Project	在下拉列表选择需要存放日志的Project。
   logstore	在下拉列表选择Logstore。
   logtail	在下拉列表选择新建Logtail。关于Logtail的详细信息，请参见Logtail采集概述。

6. 单击下一步：确认规格。
7. 在确认规格配置向导页面，查看您所创建应用的详细信息以及配置费用情况，并单击确认创建。
   页面会跳转至创建完成配置向导页面，您可以单击应用详情页进入基本信息页面。
8. 验证结果。
   应用部署完成后，SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

   您可以在应用详情页面左侧导航栏，选择日志管理 > 持久化日志，在持久化日志页面查看所收集的日志信息。

   如果存在日志数据，表示日志收集配置成功，您可以依据日志信息进行相关业务分析。

在部署应用过程中配置文件日志收集

更新应用配置的路径因实例数的不同而不同。本文以实例数大于等于1为例，介绍如何配置目标功能。当实例数等于0时的操作路径，请参见更新应用。

1. 登录SAE控制台。
2. 在左侧导航栏，单击应用列表，在顶部菜单栏选择地域，然后单击具体应用名称。
3. 在基本信息页面右上角，单击部署应用。
4. 在部署应用页面下方，展开日志收集服务区域，在默认显示的日志采集到SLS页签，打开开通日志收集到SLS日志服务功能开关，并配置相关配置项。
   按需选择新建SLS资源或使用已有的SLS资源，单击+添加并配置相关配置项。

   配置项	说明
   以下配置项供选择新建SLS资源和使用已有的SLS资源时通用。
   采集日志类型	在下拉列表选择日志类型。 文件日志（容器内日志路径）：可以设置多条，默认显示。 容器标准输出日志：仅可以设置一条。 说明 当您的vSwitch属于推荐可用区时，下拉列表才会显示该选项。您可以调用DescribeRegions接口查看推荐可用区。
   日志源	输入日志源存放的文件目录。目录须包含日志的文件名，例如/tmp0/cjsc.log。 说明 请勿在日志源的存放目录中存放其他重要文件，避免目录内的文件被覆盖。
   以下配置项仅供选择使用已有的SLS资源时设置。
   使用已有的SLS Project	在下拉列表选择需要存放日志的Project。
   logstore	在下拉列表选择Logstore。
   logtail	在下拉列表选择新建Logtail。关于Logtail的详细信息，请参见Logtail采集概述。

5. 配置完成后，单击确认。
   说明 如果您在应用部署时采用分批发布或者灰度发布策略，同时您配置的日志源不变，只改变日志收集的Project或者Logstore，那么在所有批次的部署流程成功完成之前，您的日志仍被收集到旧的Project与Logstore中。因为SLS不支持同一个文件被同时采集到不同的Project或Logstore中。
6. 验证结果。
   应用部署完成后，SAE依据所配的日志收集规则收集日志并存放到指定的文件内。

   您可以在应用详情页面左侧导航栏，选择日志管理 > 持久化日志，在持久化日志页面查看所收集的日志信息。

   如果存在日志数据，表示日志收集配置成功，您可以依据日志信息进行相关业务分析。

设置环境变量提升Logtail采集性能

您可以在SAE控制台通过设置环境变量的方式来配置Logtail启动参数。配置后，在开启日志收集服务的基础上，Logtail采集性能将得到提升，有效解决日志文件占用内存大、日志数据流量大和Logtail发送数据速率高等影响日志采集的瓶颈问题。

您需要在环境变量设置区域内，选择自定义或引用配置项的方式，并填写变量名称和变量值/变量引用。具体操作，请参见设置环境变量。

• 变量名称的填写规则
  在需要配置的Logtail环境变量前增加sls_前缀。如下图所示，如果您需要添加Logtail参数max_read_buffer_size，则配置的环境变量为sls_max_read_buffer_size。图例表示每条日志读取的最大值为524288，单位：Byte。更多参数，请参见设置Logtail启动参数。
• 环境变量与Logtail启动参数对应关系

  具体信息，请参见环境变量说明。

SLS采集标准输出去除前缀

如果您需要对SLS日志内容做更多个性化的字段提取设置，例如，去除标准输出日志的前缀，可选择完整正则模式，并配置如下信息。

• 行首正则表达式

  \d+-\d+-\d+T\d+:\d+:\d+.\d+\+\d+.*

• 正则

  \d+-\d+-\d+T\d+:\d+:\d+.\d+\+\d+:\d+\s\w+\s\w\s(.*)

如果您还需要展开JSON，可以添加插件配置。

{
  "global": {
    "DefaultLogQueueSize": 10
  },
  "processors": [
    {
      "type": "processor_split_log_regex",
      "detail": {
        "PreserveOthers": true,
        "SplitKey": "content",
        "SplitRegex": "\\d+-\\d+-\\d+T\\d+:\\d+:\\d+.\\d+\\+\\d+.*"
      }
    },
    {
      "type": "processor_regex",
      "detail": {
        "SourceKey": "content",
        "Regex": "\\d+-\\d+-\\d+T\\d+:\\d+:\\d+.\\d+\\+\\d+:\\d+\\s\\w+\\s\\w\\s(.*)",
        "Keys": [
          "newline"
        ]
      }
    },
    {
      "detail": {
        "SourceKey": "newline",
        "KeepSource": true,
        "ExpandDepth": 0,
        "NoKeyError": true,
        "ExpandConnector": "-"
      },
      "type": "processor_json"
    }
  ]
}

更多信息，请参见使用完整正则模式采集日志和管理Logtail采集配置。

常见问题

• SAE日志功能是否支持滚动日志？

  支持。您可以通过给日志文件名称添加通配符的方式滚动日志。

  文件名称通配符支持星号（*）和问号（?）。

• 查看文件日志时，在SLS控制台无数据展示，如何处理？

  通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用是否有文件日志信息。详细操作，请参见使用Webshell诊断应用。

  • 如果有日志信息，请加入钉群（钉群号：32874633），联系产品技术专家进行咨询。
  • 如果没有日志信息，请检查您的应用信息。