云原生架构下日志服务数据预处理
本文介绍云原生架构下日志服务数据预处理的场景描述、方案优势、解决问题、架构图及操作参考链接。
场景描述
某家国际教育机构，提供在线教育服务，其用户主要分布在中美两地，该企业拥抱云计算，在架构设计上也全面采用了云原生服务，本实践将重点聚焦以下几个典型场景：
跨地域/跨账号数据汇集。
数据内容富化（join维表）。
数据投递/归档、入湖分析。
统一采集，按业务分发分析。
数据监控与智能告警。
方案优势
数据规整：对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数仓计算。
数据富化：日志（例如业务订单）与维表（例如用户信息MySQL表）进行字段join，为日志添加更多维度信息供分析。
数据分发/汇聚：将全量日志按转发规则分别提取到多个下游存储供不同业务使用。
监控告警：监控大规模数据，触发告警，支持机器学习算法（例如，智能巡检），通过告警策略配置，对触发的告警进行降噪处理（去重、静默、合并、抑制、路由分派等），然后分派给特定通知渠道（短信、邮件等）。
解决问题
如何对云上架构方案的成本、部署、运维、 回收进行全生命周期的管理。
架构图
参考链接
关于云原生架构下日志服务数据预处理的详情，请参见云原生架构下日志服务数据预处理。
