关联外部数据源
日志服务提供外部存储功能,可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。
应用场景
在日志分析场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志服务中,用户属性、注册信息、资金、道具等相关数据存储在数据库中。类似场景下,您需要对用户进行分层统计,将最后的计算结果写入到数据库提供的报表系统中。
针对上述场景,传统做法是将数据迁移到统一的存储系统中,再进行分析。在迁移过程中既涉及网络传输,又涉及数据的清洗和格式化,耗时又耗精力。日志服务提供的外部存储API支持以下功能:
通过API为外部存储定义映射,不需要迁移数据。
提供统一的查询分析引擎,支持通过JOIN语法对日志、外部存储等多种数据源进行联合查询。
支持将多种分析结果保存到外部存储中。
功能优势
节省成本
节省数据迁移成本。不同存储系统的格式和API都不同,在迁移过程中涉及到复杂的数据转换。使用日志服务外部存储无需搬迁数据。
节省数据维护成本。如果采用迁移数据方式,如果有数据更新,需及时维护。
方便快捷
通过SQL语句分析数据,实现秒级别获得分析结果。
将常用视图添加到仪表盘,打开仪表盘页面即可快速查看相关信息。
支持的外部存储
外部存储功能支持日志服务与MySQL数据库、阿里云OSS、托管的CSV文件建立关联,详细信息如下表所示。
外部存储名称 | 从外部数据源读取 | 写入外部数据源 | 创建方式 | 地域 |
MySQL | 支持 | 支持 | API、SDK、CLI | 所有地域 |
OSS | 支持 | 支持 | SQL create table | 所有地域 |
托管的CSV文件 | 支持 | 不支持 | SDK | 华东2(上海) |