全部产品

使用 Serverless 对日志进行 ETL 处理

更新时间:2020-01-12 20:05:03

概述

本实践通过模拟搭建电商网站 Demo,演示如何使用阿里云日志服务接入电商系统 Web 服务器的接入日志,并在函数计算中编写 ETL 托管程序,对日志服务中数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL 托管程序通过日志服务触发器以秒级准实时的频率被调用。

应用场景

  • 数据加工场景:实时消费日志服务写入的日志

  • 数据投递场景:从数据源抽取(Extract)出所需的数据,经过数据加工(Transform),最终按照预先定义好的数据仓库模型,将数据加载(Load)到数据仓库中去。

方案介绍

通过日志服务 + 函数计算 ETL,快速完成日志采集、加工、查询、分析和展示。

etl

日志服务+函数计算 ETL 的优势

  • 一站式采集、存储、加工、分析和展示
  • 全托管日志加工任务,按时间周期进行触发执行,自动重试
  • 日志库资源按Shard水平扩展,满足大数据需求
  • 基于函数计算提供数据加工、弹性资源、按需付费以及自定义代码逻辑
  • 持续增加内置函数模板,降低主流需求下的函数开发代价

方案详情: 使用函数计算对日志服务中的数据进行 ETL 数据处理