云原生架构下日志服务数据预处理

直达最佳实践

点击查看最佳实践详情

更多最佳实践

点击查看更多最佳实践

场景描述

某家国际教育机构，提供在线教育服务，其用户主要分布在中美两地，该企业拥抱云计算，在架构设计上也全面采用了云原生服务，本实践将重点聚焦该客户以下几个典型场景：

• 场景一：跨地域/跨账号数据汇集

• 场景二：数据内容富化（join维表）

• 场景三：数据投递/归档、入湖分析

• 场景四：统一采集，按业务分发分析

• 场景五：数据监控与智能告警

基于这些场景，本篇实践会介绍对应的解决方案和最佳实践操作手册，方便用户快速对号入座，解决云原生架构下的常见日志难题。

方案优势

• 数据规整：对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数仓计算。

• 数据富化：日志（例如业务订单）与维表（例如用户信息MySQL表）进行字段join，为日志添加更多维度信息供分析。

• 数据分发/汇聚：将全量日志按转发规则分别提取到多个下游存储供不同业务使用。

• 监控告警：监控大规模数据，触发告警，支持机器学习算法（e.g：智能巡检），通过告警策略配置，对触发的告警进行降噪处理（去重、静默、合并、抑制、路由分派等），然后分派给特定通知渠道（短信、邮件等）。

业务架构