Custom Runtime支持Loggie Agent日志扩展

前提条件

• 函数计算：创建服务。

• 日志服务SLS：创建项目Project和创建Logstore。

  说明

  创建的日志项目必须和步骤一要创建的函数在相同地域。

操作步骤

步骤一：创建自定义运行时函数

1. 登录函数计算控制台，在左侧导航栏，单击服务及函数。
2. 在顶部菜单栏，选择地域，然后在服务列表页面，单击目标服务。

3. 在函数管理页面，单击创建函数。

4. 在创建函数页面，配置以下配置项，其他配置项使用默认值，然后单击创建。详细内容请参见创建函数。

   • 创建函数的方式：使用自定义运行时创建。

   • 基本设置：设置函数名称，请求处理程序类型选择处理事件请求。

   • 函数代码：配置函数的运行环境和代码相关信息。

     配置项	示例
     运行环境	Python 3.9
     代码上传方式	选择通过文件夹上传代码。上传的文件夹名称为code，code目录下的文件为app.py，其中app.py的代码示例内容如下。 from flask import Flask from flask import request import logging import os REQUEST_ID_HEADER = 'x-fc-request-id' app = Flask(__name__) format_str = '[%(asctime)s] %(levelname)s in %(module)s: %(message)s' logging.basicConfig(filename='/tmp/log/fc-flask.log', filemode='w', format=format_str, encoding='utf-8', level=logging.DEBUG) @app.route("/invoke", methods = ["POST"]) def hello_world(): rid = request.headers.get(REQUEST_ID_HEADER) logger = logging.getLogger() print("FC Invoke Start RequestId: " + rid) logger.info("FC Invoke Start RequestId: " + rid) data = request.stream.read() print(str(data)) logger.info("receive event: {}".format(str(data))) print("FC Invoke End RequestId: " + rid) logger.info("FC Invoke Start RequestId: " + rid) return "Hello, World!" if __name__ == '__main__': app.run(host='0.0.0.0',port=9000) 说明 您可以修改代码中配置的filename='/tmp/log/fc-flask.log'为指定的日志类型及日志位置，该配置需要和步骤二中的sources.paths路径保持一致。
     启动命令	/code/bootstrap 说明 bootstrap文件在步骤二会创建。
     监听端口	9000

步骤二：创建bootstrap文件作为启动命令

1. 函数创建成功后，在函数代码页签使用WebIDE在code目录下创建bootstrap文件。

   bootstrap文件示例内容如下。

   #!/bin/bash
   
   # 1. 创建pipelines.yml文件
   mkdir -p /tmp/log /code/etc
   cat << EOF > /code/etc/pipelines.yml
   pipelines:
     - name: demo
       sources:
         - type: file
           name: fc-demo
           addonMeta: true
           fields:
             topic: "loggie"
           fieldsUnderRoot: true
           paths:
             - "/tmp/log/*.log"
       sink:
         type: sls
         endpoint: ${LOGGIE_SINK_SLS_ENDPOINT}
         accessKeyId: ${LOGGIE_SINK_SLS_ACCESS_ID}
         accessKeySecret: ${LOGGIE_SINK_SLS_ACCESS_SECRET}
         project: ${LOGGIE_SINK_SLS_PROJECT}
         logstore: ${LOGGIE_SINK_SLS_LOGSTORE}
         topic: ${LOGGIE_SINK_SLS_TOPIC}
   EOF
   
   # 2. 创建loggie.yml文件
   cat << EOF > /code/etc/loggie.yml
   EOF
   
   # 3. 启动Loggie Agent，作为后台进程运行
   /opt/bin/loggie -config.system=/code/etc/loggie.yml -config.pipeline=/code/etc/pipelines.yml > /tmp/loggie.log 2>&1 &
   
   # 4. 启动应用程序
   exec python app.py

   该脚本会执行的操作如下：

   1. 创建配置文件pipelines.yml，pipelines.yml为Pipeline配置文件。

      • sources

        用于指定日志的类型和日志所在位置。本示例展示如何采集/tmp/log目录下所有以.log结尾的文件中的日志。

        sources配置中的addonMeta表示添加默认的日志采集state元信息。更多关于sources的配置，请参见Source通用配置。

      • sink

        用于指定日志服务相关信息。关于参数的说明，请参见配置参数说明。脚本中的变量会在步骤四设置。

   2. 创建配置文件loggie.yml，loggie.yml为Loggie的系统配置文件。

      文件为空，表示为默认配置。本文示例采用默认配置方法，loggie.yml文件必须存在。文件不为空时，其具体参数请参见Loggie系统配置。

   3. 启动Loggie Agent，作为后台进程运行。Loggie Agent运行日志会打印到/tmp/loggie.log。

   4. 启动应用程序。本文示例使用Python运行，请按照实际情况填写。

2. 设置bootstrap文件权限为可执行权限。

   在WebIDE中选择Terminal > New Terminal，执行chmod 777 bootstrap命令设置文件权限。

步骤三：添加官方公共层Loggie Agent

步骤四：设置环境变量

步骤四：验证结果

问题排查

Loggie Agent独立运行在函数实例中，函数计算平台无法感知Loggie Agent是否正常，Loggie Agent运行异常也不会影响函数的正常执行。

如果在日志服务中无法查询到Loggie Agent相关日志时（会有秒级的延时），可参考以下流程进行排查。

函数运行正常

如果函数运行正常，在调用后函数实例会存活一段时间（一般是几分钟），可以登录实例查看Loggie Agent的运行状态和日志信息。关于登录实例的具体操作，请参见函数实例命令行操作。

• 如果没有日志信息，可以在命令行尝试启动Loggie Agent。

• 如果Loggie有日志信息，根据日志信息排查。

  • 确认pipelines.yml文件是否配置正确。

  • 确认是否成功启动SLS sink配置。日志类似pipeline sink(sink/sls)-0 invoke loop start。

  • 确认是否获取到日志文件。日志类似start collect file: /tmp/log/fc-flask.log。如果没有类似日志，按照pipelines.yml文件配置中的paths路径，确认是否有日志文件产生。

函数运行失败

Loggie Agent作为外部扩展，一般不会影响函数的正常运行，可以先将Loggie Agent启动逻辑移除，排查函数运行是否正常。如果出现进程异常退出或者执行超时的报错，可以尝试调大内存或CPU规格。

相关文档

• 关于Loggie的更多信息，请参见Loggie简介。

• 在本文示例中，Loggie采集到日志后原样上传，没有经过任何加工处理。如果需要对日志数据加工后再上传，例如解析JSON格式、移除DEBUG日志等，可以在pipelines.yml中添加Interceptor配置，具体请参见Loggie-Interceptor 。

• 如果您希望通过Serverless Devs工具部署一个由Custom-Python3.9事件类型实现的将采集日志文件上报到日志服务的函数，请参见示例应用程序（python3.9 flask）。