数据采集概述

日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。

采集方式

采集方式

说明

相关文档

Logtail采集

Logtail是日志服务提供的日志采集Agent,多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万台服务器上的实时数据,日流量数十PB,并历经多次双十一挑战。

云产品日志采集

采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据,包括云产品的操作信息、运行状况、业务动态等信息。

云产品日志概述

数据导入

导入OSS文件、Amazon S3文件、MySQL数据、Elasticsearch数据、Kafka数据等。

其他采集方式

通过Kafka协议、Syslog协议、Loggie上传日志到日志服务,通过WebTracking功能或者通过日志服务SDK上传日志。

采集常见日志

采集Log4j日志、Python日志、Node.js日志、WordPress日志、Unity3D日志。

数据来源

类别

场景

接入方式

相关文档

Logtail

Kubernetes

容器

采集标准Docker容器日志

主机文本日志采集

采集主机文本日志

应用

程序输出

Logtail

查询分析程序日志

访问日志

Logtail

分析Nginx访问日志

链路跟踪

时序数据

语言

Java

Log4J Appender

LogBack Appender

LogBack

C

Log Service C SDK

Python

Log Service Python SDK

Python Logging

Python Logging Handler

PHP

Log Service PHP SDK

.Net

Log Service csharp SDK

C++

Log Service C++ SDK

Go

NodeJS

NodeJs

JS

JS/Web Tracking

OS

Linux

Logtail

Windows

Logtail

Mac/Unix

Native C

Docker文件

Logtail

Docker输出

Logtail

数据库

MySQL Binlog

Logtail

MySQL查询

Logtail

SQL Server查询结果

Logtail

PostgreSQL查询结果

Logtail

移动端

iOS、Android

网页

JS/Web Tracking

智能IoT

C Producer Library

采集-IoT/嵌入式日志

标准协议

HTTP 轮询

Logtail

采集和查询分析Nginx监控日志

Syslog

Logtail

Kafka

Kafka Producer SDK

OpenTelemetry

OpenTelemetry等

数据导入

OSS数据

导入服务

MySQL数据

导入服务

Elasticsearch数据

导入服务

Kafka数据

导入服务

云监控数据

导入服务

第三方

Logstash

LogstashKafka协议

Flume

Flume消费

Beats

Kafka协议

Fluentd

Kafka协议

Telegraf

Kafka协议

Loggie

Loggie

阿里云云产品

ECS、OSS等阿里云产品日志

云产品日志采集

选择网络类型和接入点(Endpoint)

  • 阿里云内网:阿里云内网为千兆共享网络,日志数据通过阿里云内网传输比公网传输更快速、稳定,内网包括VPC和经典网络。

  • 公网:使用公网传输日志数据,不仅会受到网络带宽的限制,还可能会因网络抖动、延迟、丢包等影响数据采集的速度和稳定性。

  • 传输加速:利用阿里云CDN边缘节点进行日志采集加速,相对公网采集在网络延迟、稳定性上具有很大优势。 

不同网络类型的使用场景,请参见选择网络。接入点(Endpoint)的列表,请参见服务接入点。开启传输加速域名的步骤,请参见管理传输加速

常见问题

  • 专线方式接入应如何选择网络?

    请选择阿里云内网(经典网络或专有网络VPC)。

  • 采集公网数据时能否采集公网IP地址?

    您可以在Logstore属性中开通记录外网IP功能。更多信息,请参见创建Logstore

  • 将地域A上的ECS日志采集到地域B下日志服务Project中,应如何选择网络?

    在地域A上的ECS中安装地域B公网的版本Logtail,进行公网传输。其他情况下的网络选择,请参见选择网络

  • 如何快速判断目标域名能否连接?

    执行以下命令,如果有返回信息则表示可以联通。

     curl $myproject.cn-hangzhou.log.aliyuncs.com
    • $myproject:Project名。

    • cn-hangzhou.log.aliyuncs.com:访问接入点。