数据采集概述

数据采集方式

数据采集作为使用日志服务功能的第一步，帮助您将需要处理的日志或数据传输并保存到日志服务中。您需要根据具体的使用场景选择合适的数据采集方式，以便后续使用日志服务的其他功能。

数据采集方式主要分为Logtail采集，LoongCollector采集，SDK&API，云产品日志接入，数据导入，以及其他采集方式。

• Logtail采集：Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC或其他云厂商等服务器上的日志。Logtail基于日志文件，无侵入式采集日志。您无需修改应用程序代码，且采集日志不会影响您的应用程序运行。

• LoongCollector采集：LoongCollector是日志服务推出的新一代采集Agent，是Logtail的升级版，未来还将融合Arms的相关采集Agent能力，包括Prometheus抓取和eBPF无侵入采集等。

• SDK&API：日志服务支持直接使用SDK/API等方式在代码中进行定制化开发，相比其他方式灵活性更高。

• 云产品日志接入：日志服务支持采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据，包括云产品的操作信息、运行状况、业务动态等信息。如果您需要将其他云产品中的日志进行采集供后续分析，请选择不同产品的采集方式。

• 数据导入：日志服务支持导入已有数据，包括其他应用数据与历史文件数据。

• 其他采集方式：日志服务支持使用第三方采集工具、通过协议传输日志等方式上传日志。

日志服务数据采集的总体概览如下图：

采集配置生成器

上文介绍了数据采集方法，当您使用Logtail或API采集日志时，日志服务向您提供采集配置生成器工具。该工具能自动构建CRD-AliyunPipelineConfig方式的CRD定义及CreateLogtailPipelineConfig调用参数脚本，方便您创建Logtail采集配置。

最佳实践场景

在您了解完数据采集的方式后，为您推荐几种在真实使用场景下的数据采集实践教程。

1. 某公司的网站应用部署在地域A，日志服务的Project部署在地域B，现计划通过Logtail采集配置将部署在地域A的ECS实例中的日志数据发送到地域B的Project中。此时存在跨地域采集的情况，需要参考通过Logtail跨地域采集日志。

2. 越来越多设备开始逐步走进日常生活，例如智能路由器、各种电视棒、天猫精灵、扫地机器人等，让我们体验到智能领域的便利。传统软件领域的嵌入式开发模式在IoT设备领域的应用遇到了很多挑战，IoT设备数目多、分布广，难以调试且硬件受限，如何处理IoT设备日志可以参考采集-IoT/嵌入式日志。

3. 推广网页时，多少用户做了点击？发送传单时，如何确保对方已读？移动App运营活动页面，如何分析用户访问情况？对这类个性化的采集与统计需求，如何能以快捷的手段满足这类用户行为采集可以参考采集-通过WebTracking采集日志。

更多详细了解请参考最佳实践。

常见问题

• 专线方式接入应如何选择网络？

  请选择阿里云内网（经典网络或专有网络VPC）。

• 如何选择网络类型和接入点（Endpoint）？

  不同网络类型的使用场景，请参见Logtail网络类型，启动参数与配置文件。接入点（Endpoint）的列表，请参见服务接入点。开启传输加速域名的步骤，请参见管理传输加速。

• 采集公网数据时能否采集公网IP地址？

  您可以在Logstore属性中开通记录外网IP功能。更多信息，请参见创建Logstore。

• 将地域A上的ECS日志采集到地域B下日志服务Project中，应如何选择网络？

  在地域A上的ECS中安装地域B公网的版本Logtail，进行公网传输。其他情况下的网络选择，请参见Logtail网络类型，启动参数与配置文件。

• 如何快速判断目标域名能否连接？

  执行以下命令，如果有返回信息则表示可以连通。其中$myproject为Project名，cn-hangzhou.log.aliyuncs.com为访问接入点。

   curl $myproject.cn-hangzhou.log.aliyuncs.com 

• 更多问题可查看数据采集常见问题。