日志采集与加工服务

1. 了解 OTel 配置文件

步骤二中复制的 OTel 配置文件已自动填入写入 Endpoint 和鉴权信息，核心结构如下：

receivers:
  # 日志接收器：采集指定路径下的日志文件
  filelog:
    include: [/path/to/logs/*.log]   # 日志文件路径，根据实际路径修改

    exclude: [ ]

    start_at: end                    # 从文件末尾开始读取，仅采集新增日志
    multiline:
      line_start_pattern: ^2025-     # 多行日志的起始标志，根据实际日志格式修改
exporters:
  # 日志导出器：将日志发送到托管写入 Endpoint
  elasticsearch/logs:
    endpoints: ["http://es-cn-xxxxxxpxi00xxxxxx.elasticsearch.aliyuncs.com:9200"]  # 任务详情页中的写入 Endpoint
    user: "elastic"
    password: "your_password"
    tls:
      insecure_skip_verify: false
    retry:
      enabled: true
      initial_interval: 5s
      max_interval: 30s
service:
  pipelines:
    logs:
      receivers: [filelog]
      exporters: [elasticsearch/logs]

根据实际环境修改 receivers.filelog.include 中的日志路径和 multiline.line_start_pattern 中的日志格式。详细配置项说明参见 OpenTelemetry Collector Receivers。

2. 在 ACK 中创建 ConfigMap

将 OTel 配置文件以 ConfigMap 的形式部署到 ACK 集群。

1. 登录容器服务 ACK 控制台，选择目标集群。

2. 在左侧导航栏，单击配置管理 > 配置项。

3. 单击创建，创建一个名为 otel-config 的配置项，添加键值对：

   • 键：otel.yml

   • 值：粘贴步骤二中复制的 OTel 配置文件内容。

3. 部署 Sidecar 容器

在业务应用的 Deployment 或 StatefulSet 中，以 Sidecar 模式添加 Elastic Agent 容器，与业务容器共享日志卷。

1. 在 ACK 控制台的工作负载 > 无状态（或有状态）中，找到目标工作负载，单击编辑。

2. 添加共享日志卷：在数据卷区域，单击增加本地存储，添加一个 emptyDir 类型的卷（如命名为 app-log），并挂载到业务容器的日志输出路径。

3. 单击添加容器，配置 Sidecar 容器：

   • 镜像名称：elastic/elastic-agent:9.1.5（建议预先推送到阿里云容器镜像服务 ACR）

   • 环境变量：添加 ELASTIC_AGENT_OTEL，值为 true，启用 OpenTelemetry 采集模式

4. 为 Sidecar 容器配置两个卷挂载：

   挂载项	卷名称	容器路径	说明
   共享日志卷	app-log	/path/to/logs	与业务容器的日志路径一致
   OTel 配置	otel-config（ConfigMap）	/usr/share/elastic-agent/otel.yml（子路径：otel.yml）	挂载单个文件，避免覆盖目录

5. 单击更新提交变更。Kubernetes 自动滚动重启 Pod，新 Pod 将包含业务容器和 Sidecar 容器。

4. 验证日志采集

1. 在 ACK 控制台查看 Sidecar 容器的日志，确认其已正常启动。

2. 登录 Kibana 控制台，执行以下查询验证日志是否成功写入：

   GET /logs-filelog-default/_search
   {
     "query": {
       "match_all": {}
     }
   }

   查询返回业务日志记录，表示采集链路已建立。