使用 Serverless 对日志进行 ETL 处理

概述

本实践通过模拟搭建电商网站 Demo，演示如何使用阿里云日志服务接入电商系统 Web 服务器的接入日志，并在函数计算中编写 ETL 托管程序，对日志服务中数据进行处理，然后通过日志服务的仪表盘进行可视化展示。ETL 托管程序通过日志服务触发器以秒级准实时的频率被调用。

应用场景

• 数据加工场景：实时消费日志服务写入的日志

• 数据投递场景：从数据源抽取（Extract）出所需的数据，经过数据加工（Transform），最终按照预先定义好的数据仓库模型，将数据加载（Load）到数据仓库中去。

方案介绍

通过日志服务 + 函数计算 ETL，快速完成日志采集、加工、查询、分析和展示。

日志服务+函数计算 ETL 的优势

• 一站式采集、存储、加工、分析和展示
• 全托管日志加工任务，按时间周期进行触发执行，自动重试
• 日志库资源按Shard水平扩展，满足大数据需求
• 基于函数计算提供数据加工、弹性资源、按需付费以及自定义代码逻辑
• 持续增加内置函数模板，降低主流需求下的函数开发代价

方案详情： 使用函数计算对日志服务中的数据进行 ETL 数据处理