本文罗列了日志服务相关的最佳实践。
数据采集
时序存储
使用Prometheus采集Kubernetes监控数据查询与分析
数据加工
- 调用函数清洗数据
- 事件判断
- 处理日期时间
- 数据脱敏
- 解析Syslog标准格式数据
- 解析Nginx日志
- 解析Java报错日志
- 提取字符串动态键值对
- 特定格式文本数据加工
- 解析CSV格式日志
- 复杂JSON数据加工
- 转换Log为Metric
- 从其他Logstore获取数据进行数据富化
- 从OSS获取IPIP库进行IP地址数据富化
- 从OSS获取IP2Location库进行IP地址数据富化
- 从OSS获取CSV文件进行数据富化
- 从RDS MySQL数据库获取数据进行数据富化
- 使用RDS内网地址访问RDS MySQL数据库
- 使用资源函数增量获取数据
- 使用e_dict_map、e_search_dict_map函数进行数据富化
- 从Hologres数据库获取数据进行富化
- 构建字典与表格做数据富化
- 使用e_table_map函数对HTTP请求返回码进行富化
- 复制Logstore数据
- 跨地域传输数据
- 多目标Logstore数据分发
- 多源Logstore数据汇总
- 复制和分发数据
告警
可视化
消费与投递
日志应用
通用数据库审计
Trace服务
- 导出Trace数据到Grafana
- 接入Apache SkyWalking Trace数据到日志服务
- 在K8s环境下接入Apache SkyWalking Trace数据到日志服务
- 接入Kubernetes Ingress链路数据
