数据采集概述

更新时间: 2023-11-14 15:35:45

日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。

数据来源

日志服务支持的数据来源如下:

类别

来源

接入方式

更多

应用

程序输出

Logtail

查询分析程序日志

访问日志

Logtail

分析Nginx访问日志

链路跟踪

时序数据

语言

Java

Log4J Appender

LogBack Appender

LogBack

C

Log Service C SDK

Python

Log Service Python SDK

Python Logging

Python Logging Handler

PHP

Log Service PHP SDK

.Net

Log Service csharp SDK

C++

Log Service C++ SDK

Go

NodeJS

NodeJs

JS

JS/Web Tracking

OS

Linux

Logtail

Windows

Logtail

Mac/Unix

Native C

Docker文件

Logtail

Docker输出

Logtail

数据库

MySQL Binlog

Logtail

MySQL查询

Logtail

SQL Server查询结果

Logtail

PostgreSQL查询结果

Logtail

移动端

iOS、Android

网页

JS/Web Tracking

智能IoT

C Producer Library

采集-IoT/嵌入式日志

标准协议

HTTP 轮询

Logtail

采集及分析Nginx监控日志

Syslog

Logtail

Kafka

Kafka Producer SDK

OpenTelemetry

OpenTelemetry等

数据导入

OSS数据

导入服务

MySQL数据

导入服务

Elasticsearch数据

导入服务

Kafka数据

导入服务

云监控数据

导入服务

GCP Pub/Sub消息

导入服务

第三方

Logstash

LogstashKafka协议

Flume

Flume消费

Beats

Kafka协议

Fluentd

Kafka协议

Telegraf

Kafka协议

Loggie

Loggie

阿里云云产品

ECS、OSS等阿里云产品日志

云产品日志采集

选择网络和接入点

日志服务提供以下网络类型的接入点:

  • 阿里云内网(经典网络和专有网络VPC):本地域内服务访问,带宽链路质量较好。

  • 公网:可以被任意访问,访问速度取决于链路质量。为了保障传输安全建议使用HTTPS。

关于接入点的更多信息,请参见服务入口

常见问题

  • 专线方式接入应如何选择网络?

    请选择阿里云内网(经典网络或专有网络VPC)。

  • 采集公网数据时能否采集公网IP地址?

    您可以在Logstore属性中开通记录外网IP功能。更多信息,请参见创建Logstore

  • 将地域A上的ECS日志采集到地域B下日志服务Project中,应如何选择网络?

    在地域A上的ECS中安装地域B公网的版本Logtail,进行公网传输。其他情况下的网络选择,请参见选择网络

  • 如何快速判断目标域名能否连接?

    执行以下命令,如果有返回信息则表示可以联通。

     curl $myproject.cn-hangzhou.log.aliyuncs.com
    • $myproject:Project名。

    • cn-hangzhou.log.aliyuncs.com:访问接入点。

阿里云首页 日志服务 相关技术圈