本文以Linux系统为例介绍同阿里云账号跨地域采集日志的操作步骤。
方案概览
假如某公司的网站应用部署在地域A,日志服务Project部署在地域B,现计划通过Logtail采集配置将部署在地域A的ECS实例中的日志数据发送到地域B的日志服务Project中。您可通过以下步骤配置:
配置流程图如下所示:
前提条件
已创建Project和Logstore。更多信息,请参见管理Project和创建基础Logstore。
步骤一:在地域A的ECS实例中安装Logtail
网络传输说明
传输方式 | 适用场景 |
公网 |
|
传输加速 | 服务器分布在海外各地的自建机房或者来自海外云厂商,使用公网传输数据可能会出现网络延迟高、传输不稳定等问题,推荐选择传输加速。更多信息,参见管理传输加速。 |
登录地域A的ECS实例,请参考网络传输说明根据您的网络环境选择安装Logtail脚本。安装Logtail支持的Liunx系统,请参见使用限制。
公网
根据日志服务Project所在地域,获取对应的
${region_id}
。重要各地域对应的
${region_id}
请参见开服地域,例如华东 1(杭州)对应的${region_id}
为cn-hangzhou
。执行以下命令下载Logtail安装脚本并完成安装,注意替换
${region_id}
为实际地域值。wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh chmod +x logtail.sh ./logtail.sh install ${region_id}-internet
传输加速
根据日志服务Project所在地域,获取对应的
${region_id}
。重要各地域对应的
${region_id}
请参见开服地域,例如华东 1(杭州)对应的${region_id}
为cn-hangzhou
。使用传输加速安装Logtial后,需要进入Project,开启传输加速域名后方可生效。具体操作,请参见开启Project的传输加速域名。
执行以下命令下载Logtail安装脚本并完成安装,注意替换
${region_id}
为实际地域值。wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh chmod +x logtail.sh ./logtail.sh install ${region_id}-acceleration
步骤二:在地域A的ECS实例中配置用户自定义标识
在指定目录下建立用户自定义标识文件
user_defined_id
并配置用户自定义标识。重要同一机器组中不允许同时存在Linux和Windows服务器,请勿在Linux和Windows服务器上配置相同的用户自定义标识。
一个服务器可配置多个用户自定义标识,标识之间以换行符分割。
Linux环境
登录已安装Logtail的Linux服务器,使用以下命令配置用户自定义标识。
说明如果目录
/etc/ilogtail/
不存在,请先手动创建该目录。echo "user-defined-1" > /etc/ilogtail/user_defined_id
(可选)使用以下命令检查用户自定义标识是否写入成功。如果返回
user-defined-1
,则表示写入成功。cat /etc/ilogtail/user_defined_id
新增、删除、修改
user_defined_id
文件后,默认情况下,1分钟内生效。如果需要立即生效,请执行以下命令重启Logtail。/etc/init.d/ilogtaild stop /etc/init.d/ilogtaild start
Windows环境
登录已安装Logtail的Windows服务器,在
C:\LogtailData
目录下新建user_defined_id
文件并写入user-defined-1
,完成后保存。说明如果目录
C:\LogtailData
不存在,请先手动创建该目录。新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如需立即生效,请根据以下步骤重启Logtail。
选择
。在服务对话框中,选择对应的服务。
如果是0.x.x.x版本,选择LogtailWorker服务。
如果是1.0.0.0及以上版本,选择LogtailDaemon服务。
右键单击重新启动使配置生效。
容器环境
用户自定义标识配置在Logtail容器的环境变量ALIYUN_LOGTAIL_USER_DEFINED_ID
中,可通过docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID
命令查看。
步骤三:在地域B的日志服务Project中创建用户自定义标识机器组
登录日志服务控制台,在Project列表,单击打开目标Project。
左侧导航栏中,选择
。在打开的机器组页面中,选择机器组右侧的 。在弹出的创建机器组页面,填写以下信息,并单击确定。
参数
说明
名称
机器组名称,命名规则如下所示:
只能包括小写字母、数字、短划线(-)和下划线(_)。
必须以小写字母或者数字开头和结尾。
长度必须在 2~128 字符之间。
重要创建后,不支持修改机器组名称,请谨慎填写。
机器组标识
选择IP地址。
机器组Topic
(可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。
IP地址
填入Logtail自动获取的服务器IP。
重要存在多台服务器时,请手动输入对应的IP地址,IP地址之间需使用换行符分隔。
同一机器组中不允许同时存在Linux和Windows服务器。请勿将Windows和Linux服务器IP添加到同一机器组中。
在机器组列表中,单击目标机器组。在机器组配置页面,检查机器组配置信息以及服务器状态。
步骤四:在地域B的日志服务Project中创建Logtail采集配置
相关文档
使用Logtail采集日志后,如果预览页面为空或查询页面无数据,请按照Logtail采集日志失败的排查思路进行排查。在使用Logtail采集日志时,可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。查看Logtail采集错误的步骤,请参见如何查看Logtail采集错误信息。采集数据常见的错误类型请参见日志服务采集数据常见的错误类型。
默认情况下,一个日志文件只能匹配一个Logtail配置。如果同一份日志需要被采集多份,请参见如何实现文件中的日志被采集多份。
将企业内网服务器日志采集到日志服务,请参见采集企业内网服务器日志。