SLS多云日志采集、处理及分析

概述

从第三方云平台或线下IDC服务器上采集日志写入到阿里云日志服务，通过日志服务的logsearch和Log Analytics进行数据分析，帮助提升运维、运营效率，建立DT时代海量日志处理能力。针对未使用其他日志采集服务的用户，推荐在其他云或线下服务器安装logtail采集并使用HTTPS安全传输；针对已使用其他日志采集工具并且已有日志服务需要继续服务的用户，可以通过Log producer SDK写入日志服务。

适用场景

• 第三方云平台或线下IDC服务器需要使用阿里云日志服务。
• 第三方云平台或线下IDC服务器已有完整日志采集、处理及分析工具，但仍需要使用阿里云日志服务。

方案架构

推荐方案：采用第三方云平台或线下IDC服务器安装logtail，进行logtail配置，采用公网/专线+HTTPS（DCDN）安全传输日志到日志服务。

针对在第三方云平台或线下IDC服务器已部署其他日志采集工具（如filebeat）的场景：filebeat采集日志写入kafka，spark streaming实时消费kafka消息，在作业中集成Log producer SDK通过公网/专线+HTTPS安全传输（DCDN）写入日志服务。

• spark对数据ETL后可以写入SLS\RDS\ES\HBASE\ADB等产品，本例以SLS为例。
• 本示例使用ERM的kafka和spark集群模拟在第三方云或线下IDC使用开源生态自建kafka和spark集群。
• 本示例使用SNAT IP池让日志机器组集群具备主动访问公网能力，适合海量日志机器以及分布式多机房场景。

方案优势

• 以SLS的核心能力为切入点，从第三方云平台或线下IDC搬迁客户日志上阿里云。
• 融合阿里云的日志服务生态，增强用户粘性（如无缝对接Blink、Elasticsearch、 RDS、ADB、EMR、dataV等产品）。
• 与第三方开源生态无缝对接，在不侵入用户应用的情况下传输日志到SLS，降低用户使用门槛。
• 使用DCDN的安全加速保障用户数据安全、降低消费延时。
• 使用SANT IP池让日志采集机器组具备主动访问公网能力。

操作步骤

具体操作步骤请参见SLS多云日志采集、处理及分析。