通过Logtail跨地域采集日志

本文以Linux系统为例介绍同阿里云账号跨地域采集日志的操作步骤。

方案概览

假如某公司的网站应用部署在地域A,日志服务Project部署在地域B,现计划通过Logtail采集配置将部署在地域A的ECS实例中的日志数据发送到地域B的日志服务Project中。您可通过以下步骤配置:

配置流程图如下所示:

image

前提条件

已创建Project和Logstore。更多信息,请参见创建项目Project创建Logstore

步骤一:在地域A的ECS实例中安装Logtail

网络传输说明

传输方式

适用场景

公网

  • 阿里云云服务器实例和日志服务Project属于不同地域。

  • 服务器为其他云厂商服务器或自建IDC。

传输加速

服务器分布在海外各地的自建机房或者来自海外云厂商,使用公网传输数据可能会出现网络延迟高、传输不稳定等问题,推荐选择传输加速。更多信息,参见管理传输加速

登录地域A的ECS实例,请参考网络传输说明根据您的网络环境选择安装Logtail脚本。安装Logtail支持的Liunx系统,请参见使用限制

公网

根据日志服务Project所在地域,获取对应的${region_id}。替换${region_id}后,执行安装命令。

重要

各地域对应的${region_id}请参见开服地域,例如华东 1(杭州)对应的${region_id}cn-hangzhou

wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-internet

传输加速

根据日志服务Project所在地域,获取对应的${region_id}。替换${region_id}后,执行安装命令。

重要

各地域对应的${region_id}请参见开服地域,例如华东 1(杭州)对应的${region_id}cn-hangzhou

wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-acceleration

步骤二:在地域A的ECS实例中配置用户自定义标识

登录已安装Logtail的服务器,在指定目录下创建用户自定义标识文件user_defined_id并配置用户自定义标识

假如您要在Linux服务器配置用户自定义标识user-defined-linux-1,可使用以下命令完成。

echo "user-defined-linux-1" > /etc/ilogtail/user_defined_id

步骤三:在地域B的日志服务Project中创建用户自定义标识机器组

  1. 登录日志服务控制台,在Project列表,单击打开目标Project。

  2. 左侧导航栏中,选择资源 > 机器组。在打开的机器组页面中,选择机器组右侧的机器组 > 创建机器组image

  3. 在弹出的创建机器组页面,填写以下信息,并单击确定

    参数

    说明

    名称

    机器组名称,命名规则如下所示:

    • 只能包括小写字母、数字、短划线(-)和下划线(_)。

    • 必须以小写字母或者数字开头和结尾。

    • 长度必须在 2~128 字符之间。

    重要

    创建后,不支持修改机器组名称,请谨慎填写。

    机器组标识

    选择用户自定义标识

    机器组Topic

    (可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题

    用户自定义标识

    填入上述步骤中配置的自定义标识,如user-defined-linux-1

  4. 机器组列表中,单击目标机器组。在机器组配置页面,检查机器组配置信息以及服务器状态。

    • 心跳状态为OK表示服务器上的Logtail实例与日志服务Project连接正常。

    • 如果心跳状态显示FAIL,处理操作请参见Logtail机器组问题排查思路(主机场景)

      重要

      创建机器组大约需要2分钟。创建未生效,将导致心跳为FAIL。请2分钟后单击刷新进行重试。

步骤四:在地域B的日志服务Project中创建Logtail采集配置

重要
  • 安装Logtail的主机需要在出口方向开放80(HTTP)端口和443(HTTPS)端口。ECS实例的端口由安全组规则控制,添加安全组规则的步骤请参见添加安全组规则

  • 服务器日志的内容持续新增。Logtail只采集增量日志,如果下发Logtail配置后日志文件无更新,则Logtail不会采集该文件中的日志。更多信息,请参见读取日志

  • 如需采集历史数据,请参见导入历史日志文件

对于常见类型的日志采集,请参见最佳实践:

相关文档