应用场景

在日志分析场景中,我们经常会遇到数据分散在各地场景,例如用户操作、行为相关的数据在日志中,同时用户属性、注册信息,资金、道具等状态存在数据库中。类似场景下,需要对用户进行分层统计,将最后的计算结果写入数据库中供报表系统查询。

不同的数据源,存储在不同的存储系统中,如果要实现这种分析,一般的做法是把数据搬迁到一个统一的存储系统中,再进行分析。搬迁数据既涉及到网络传输,又涉及到数据的清洗和格式化归一,耗时又耗精力。导致用户的大部分精力浪费在数据搬迁上。

日志服务提供的外部存储API支持以下功能:
  • 通过API为外部存储定义映射,不需要搬迁数据。
  • 提供统一的查询分析引擎,支持在一个SQL中对日志、外部存储等多种数据源进行JOIN操作。
  • 支持将多种分析结果保存到外部存储中。

功能优势

  • 节省精力
    • 节省数据搬迁的人力。不同的存储系统,格式和API都不同,要把数据搬迁到同一个系统中,涉及到复杂的数据转换。使用日志服务外部存储不需要搬迁数据到同一个存储系统中,节约数据搬迁的人力。
    • 节省数据维护的人力。搬迁后,数据一旦有更新,还要经常维护。在日志服务轻量级的运行时联合分析平台中,避免数据搬迁,节省了用户精力,解放用户生产力,可以把有限的开发人力投入到主营业务中。
  • 方便快捷
    • 通过SQL分析数据,可在秒级别获得结果。
    • 将常用视图添加到仪表盘,打开仪表盘页面即可快速查看相关信息。

支持的外部存储

表 1. 支持的外部存储
外部存储名称 支持从外部数据源读取 支持写入外部数据源 支持的创建方式 支持的Region
MySQL 支持 支持 API、SDK、CLI 华东一(hangzhou)、华北一(qingdao)、华东二(shanghai)、华北二(beijing)
OSS 支持 支持 SQL create table 所有地域

配置方式