日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。
采集方式
采集方式 | 说明 | 相关文档 |
Logtail采集 | Logtail是日志服务提供的日志采集Agent,多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万台服务器上的实时数据,日流量数十PB,并历经多次双十一挑战。 | |
云产品日志采集 | 采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据,包括云产品的操作信息、运行状况、业务动态等信息。 | |
数据导入 | 导入OSS文件、Amazon S3文件、MySQL数据、Elasticsearch数据、Kafka数据等。 | |
其他采集方式 | 通过Kafka协议、Syslog协议、Loggie上传日志到日志服务,通过WebTracking功能或者通过日志服务SDK上传日志。 | |
采集常见日志 | 采集Log4j日志、Python日志、Node.js日志、WordPress日志、Unity3D日志。 |
数据来源
类别 | 场景 | 接入方式 | 相关文档 |
Logtail | Kubernetes | ||
容器 | |||
主机文本日志采集 | |||
应用 | 程序输出 | ||
访问日志 | |||
链路跟踪 | 无 | ||
时序数据 | 无 | ||
语言 | Java | 无 | |
Log4J Appender | 无 | ||
LogBack Appender | 无 | ||
C | 无 | ||
Python | 无 | ||
Python Logging | 无 | ||
PHP | 无 | ||
.Net | 无 | ||
C++ | 无 | ||
Go | 无 | ||
NodeJS | 无 | ||
JS | 无 | ||
OS | Linux | 无 | |
Windows | 无 | ||
Mac/Unix | 无 | ||
Docker文件 | 无 | ||
Docker输出 | 无 | ||
数据库 | MySQL Binlog | 无 | |
MySQL查询 | 无 | ||
SQL Server查询结果 | 无 | ||
PostgreSQL查询结果 | 无 | ||
移动端 | iOS、Android | 无 | |
网页 | 无 | ||
智能IoT | |||
标准协议 | HTTP 轮询 | ||
Syslog | 无 | ||
Kafka | 无 | ||
OpenTelemetry | 无 | ||
数据导入 | OSS数据 | 无 | |
MySQL数据 | 无 | ||
Elasticsearch数据 | 无 | ||
Kafka数据 | 无 | ||
云监控数据 | 无 | ||
第三方 | Logstash | 无 | |
Flume | 无 | ||
Beats | 无 | ||
Fluentd | 无 | ||
Telegraf | 无 | ||
Loggie | 无 | ||
阿里云云产品 | ECS、OSS等阿里云产品日志 | 无 |
选择网络类型和接入点(Endpoint)
阿里云内网:阿里云内网为千兆共享网络,日志数据通过阿里云内网传输比公网传输更快速、稳定,内网包括VPC和经典网络。
公网:使用公网传输日志数据,不仅会受到网络带宽的限制,还可能会因网络抖动、延迟、丢包等影响数据采集的速度和稳定性。
传输加速:利用阿里云CDN边缘节点进行日志采集加速,相对公网采集在网络延迟、稳定性上具有很大优势。
不同网络类型的使用场景,请参见选择网络。接入点(Endpoint)的列表,请参见服务接入点。开启传输加速域名的步骤,请参见管理传输加速。
常见问题
专线方式接入应如何选择网络?
请选择阿里云内网(经典网络或专有网络VPC)。
采集公网数据时能否采集公网IP地址?
您可以在Logstore属性中开通记录外网IP功能。更多信息,请参见创建Logstore。
将地域A上的ECS日志采集到地域B下日志服务Project中,应如何选择网络?
在地域A上的ECS中安装地域B公网的版本Logtail,进行公网传输。其他情况下的网络选择,请参见选择网络。
如何快速判断目标域名能否连接?
执行以下命令,如果有返回信息则表示可以联通。
curl $myproject.cn-hangzhou.log.aliyuncs.com
$myproject
:Project名。cn-hangzhou.log.aliyuncs.com
:访问接入点。