使用LoongCollector采集并分析ECS文本日志

前置准备

开通服务与准备账号

• 开通日志服务：首次使用时，请登录日志服务控制台，根据页面提示开通服务。

• 准备账号：

  • 阿里云主账号登录：默认拥有全部权限，可直接操作。

  • RAM账号登录：需要主账号授权相应权限策略：

    • AliyunLogFullAccess：用于创建和管理日志服务的Project和Logstore等资源。

    • AliyunECSFullAccess：用于在ECS实例上安装采集Agent。

    • AliyunOOSFullAccess：用于通过阿里云运维编排服务（OOS）在ECS实例中自动安装采集Agent。

    在实际生产过程中，可以通过创建自定义权限策略，对RAM用户实现更精细化的权限管理

准备ECS实例

确保ECS实例的安全组配置满足出口方向开放80（HTTP）端口和443（HTTPS）端口。

生成模拟日志

1. 登录ECS实例。

2. 创建脚本文件 generate_nginx_logs.sh 并粘贴以下内容。该脚本向/var/log/nginx/access.log文件中每5秒写入一条标准的Nginx访问日志。

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # 脚本名称: generate_nginx_logs.sh
   # 脚本描述: 模拟NGINX服务器，持续向access.log写入日志。
   #==============================================================================
   
   # --- 可配置参数 ---
   
   # 日志文件路径
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- 模拟数据池 ---
   
   # 随机IP地址池
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP请求方法池
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # 常见请求路径池
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP状态码池 (可以调整权重，例如多放几个200来提高其出现概率)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # 常见User-Agent池
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # 常见Referer池
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   
   
   # --- 核心函数 ---
   
   # 定义一个函数用于从数组中随机选择一个元素
   # 用法: random_element "数组名"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # 捕获Ctrl+C中断信号，并优雅退出
   trap 'echo -e "\n\n脚本被中断。正在停止日志生成..."; exit 0;' SIGINT
   
   # --- 主循环 ---
   
   echo "开始生成NGINX模拟日志到 $LOG_FILE ..."
   echo "每隔 5 秒生成一条日志。"
   echo "按 Ctrl+C 停止。"
   sleep 2
   
   # 无限循环，持续生成日志
   while true; do
       # 1. 获取当前时间，格式为 NGINX 默认的 [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. 从池中随机选择数据
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. 生成随机的响应体大小 (bytes)
       bytes_sent=$((RANDOM % 5000 + 100)) # 100到5100之间的随机数
   
       # 4. 拼接成一条完整的 NGINX combined 格式日志
       # 格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. 将日志行追加到文件中
       echo "$log_line" >> "$LOG_FILE"
       
       # 6. 等待5秒，进入下一次循环
       sleep 5
   done

3. 授予执行权限：chmod +x generate_nginx_logs.sh。

4. 在后台运行脚本：nohup ./generate_nginx_logs.sh &。

后续步骤

通过本教程，您已成功完成日志采集、查询分析、可视化仪表盘和告警配置的全流程操作。建议您继续阅读以下文档，深入理解核心概念，并结合业务需求合理规划日志资源体系：

• 理解Project与Store概念。

• 熟悉数据采集方式，根据实际业务场景选择合适的采集方式。

• 了解存储资源层级关系说明并规划资源周期，合理分配Shard数量。

常见问题