LoongCollector是日志服务提供的采集器。采集Linux服务器上的日志需要先在服务器上安装LoongCollector客户端,请根据服务器与日志服务Project的关系选择合适的安装方式。
使用限制
前提条件
选择合适的安装方式
安装方式 | 适用场景 |
仅当服务器为阿里云ECS,且ECS与Project属于同一个阿里云账号,所属地域也相同时适用。 | |
当服务器为阿里云ECS,且ECS与Project属于同一个阿里云账号,但不属于同一个地域时适用。 | |
当服务器为阿里云ECS,且ECS与Project属于同一个地域,但不属于同一个阿里云账号时适用。 | |
|
同账号同地域
仅当服务器为阿里云ECS,且ECS与Project属于同一个阿里云账号,所属地域也相同时,日志服务可一键在ECS中安装LoongCollector,借助OOS编排能力,无需登录ECS手动执行安装步骤。
一键安装能力已集成到日志服务的接入模板中,日志服务提供了正则、单行、多行等多种文本日志接入模板,各模板之间仅处理插件不同;模板内支持添加、删除处理插件。请根据采集日志的特点选择模板,或任意选择文本日志模板后再根据日志特点进行处理插件配置。
具体操作如下:
同账号不同地域
当服务器为阿里云ECS,且ECS与Project属于同一个阿里云账号,但不属于同一个地域,此时需要手动下载安装包,并在安装命令中使用公网传输方式或传输加速。
具体操作如下:
下载安装包:在服务器上执行下载命令,示例代码中
${region_id}
可使用cn-hangzhou
替换,若想加快安装包下载速度,请参考RegionID替换${region_id}
为ECS所属地域。wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;
选择传输方式并执行安装命令:替换
${region_id}
为Project所属地域的RegionID。公网:适用于大多数场景,常见于跨地域或其他云/自建服务器,但受带宽限制且可能不稳定。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-internet
传输加速:用于跨地域(如国内到国外),通过CDN加速提升性能,避免公网延迟高,传输不稳定问题,但流量需额外计费。
需要先打开Project的日志跨域传输加速功能,再执行安装命令。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-acceleration
查看启动状态:执行命令,返回
loongcollector is running
表示启动成功。sudo /etc/init.d/loongcollectord status
配置机器组:日志服务通过机器组发现用户自定义标识并与主机上的LoongCollector建立心跳连接。
在服务器上将自定义字符串
user-defined-test-1
写入用户自定义标识文件,该字符串将在后续步骤中使用。#向指定文件写入自定义字符串,若目录不存在需手动创建。文件路径和名称由日志服务固定,不可自定义。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id
登录日志服务控制台。在Project列表中,单击目标Project。
单击
资源,单击机器组。单击机器组右侧的
,单击创建机器组。
进行如下配置后单击确定。
设置机器组名称:名称Project内唯一,必须以小写字母或数字开头和结尾,且只能包含小写字母、数字、连字符(-)和下划线(_),长度为3~128字符。
机器组标识:选择用户自定义标识。
用户自定义标识:输入配置的用户自定义标识,需要与服务器用户自定义标识文件中自定义字符串内容一致。此例为
user-defined-test-1
。
机器组创建完成后,在机器组列表单击目标机器组,在机器组状态中查看心跳状态,若为FAIL,请等待两分钟左右并手动刷新。如果心跳为OK则表示创建成功。
安装完成后若需要采集日志还需进行采集配置。
不同账号同地域
当服务器为阿里云ECS,且ECS与Project属于同一个地域,但不属于同一个阿里云账号,此时需要手动下载安装包,并在安装命令中使用内网传输方式,且需要配置用户ID。
具体操作如下:
下载安装包:在服务器上执行下载命令,示例代码中
${region_id}
可使用cn-hangzhou
替换,若想加快安装包下载速度,请参考RegionID替换${region_id}
为ECS所属地域。wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;
执行安装命令:
${region_id}
需替换为Project所属地域的RegionID。若发生连接超时,可能是
${region_id}
替换错误,不同地域内网传输无法建立连接,因而超时。需修改后重新执行安装命令。chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}
查看启动状态:执行命令,返回
loongcollector is running
表示启动成功。sudo /etc/init.d/loongcollectord status
配置用户ID:用户ID文件包含Project所属阿里云主账号的ID信息,用于标识该账号有权限访问、采集这台服务器的日志。
只有在采集非本账号ECS、自建服务器、其他云厂商服务器日志时需要配置用户ID。多个账号对同一台服务器进行日志采集时,支持在同一台服务器上创建多个用户ID文件。
登录日志服务控制台,鼠标悬浮在右上角用户头像上,在弹出的标签页中查看并复制账号ID。注意需要复制主账号ID。
在安装了LoongCollector的服务器上,以主账号ID作为文件名,创建用户ID文件。
touch /etc/ilogtail/users/{阿里云账号ID} # 如果/etc/ilogtail/users目录不存在,请手动创建目录。用户ID文件只需配置文件名,无需配置文件后缀。
配置机器组:日志服务通过机器组发现用户自定义标识并与主机上的LoongCollector建立心跳连接。
在服务器上将自定义字符串
user-defined-test-1
写入用户自定义标识文件,该字符串将在后续步骤中使用。#向指定文件写入自定义字符串,若目录不存在需手动创建。文件路径和名称由日志服务固定,不可自定义。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id
登录日志服务控制台。在Project列表中,单击目标Project。
单击
资源,单击机器组。单击机器组右侧的
,单击创建机器组。
进行如下配置后单击确定。
设置机器组名称:名称Project内唯一,必须以小写字母或数字开头和结尾,且只能包含小写字母、数字、连字符(-)和下划线(_),长度为3~128字符。
机器组标识:选择用户自定义标识。
用户自定义标识:输入配置的用户自定义标识,需要与服务器用户自定义标识文件中自定义字符串内容一致。此例为
user-defined-test-1
。
机器组创建完成后,在机器组列表单击目标机器组,在机器组状态中查看心跳状态,若为FAIL,请等待两分钟左右并手动刷新。如果心跳为OK则表示创建成功。
安装完成后若需要采集日志还需进行采集配置。
其他云/自建服务器
当服务器是其他云服务器或自建服务器时(若服务器为阿里云ECS,但ECS与Project不属于同一个阿里云账号,也不在同一个地域时,也可视为自建服务器),需要手动下载安装包,并在安装命令中使用公网传输方式或传输加速,且需要配置用户ID。
服务器使用限制请参考支持的Linux系统版本。
具体操作如下:
下载安装包:在服务器上执行下载命令,示例代码中
${region_id}
可使用cn-hangzhou
替换,若想加快安装包下载速度,请参考RegionID替换${region_id}
为ECS所属地域。wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;
选择传输方式并执行安装命令:替换
${region_id}
为Project所属地域的RegionID。公网:适用于大多数场景,常见于跨地域或其他云/自建服务器,但受带宽限制且可能不稳定。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-internet
传输加速:用于跨地域(如国内到国外),通过CDN加速提升性能,避免公网延迟高,传输不稳定问题,但流量需额外计费。
需要先打开Project的日志跨域传输加速功能,再执行安装命令。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-acceleration
查看启动状态:执行命令,返回
loongcollector is running
表示启动成功。sudo /etc/init.d/loongcollectord status
配置用户ID:用户ID文件包含Project所属阿里云主账号的ID信息,用于标识该账号有权限访问、采集这台服务器的日志。
只有在采集非本账号ECS、自建服务器、其他云厂商服务器日志时需要配置用户ID。多个账号对同一台服务器进行日志采集时,支持在同一台服务器上创建多个用户ID文件。
登录日志服务控制台,鼠标悬浮在右上角用户头像上,在弹出的标签页中查看并复制账号ID。注意需要复制主账号ID。
在安装了LoongCollector的服务器上,以主账号ID作为文件名,创建用户ID文件。
touch /etc/ilogtail/users/{阿里云账号ID} # 如果/etc/ilogtail/users目录不存在,请手动创建目录。用户ID文件只需配置文件名,无需配置文件后缀。
配置机器组:日志服务通过机器组发现用户自定义标识并与主机上的LoongCollector建立心跳连接。
在服务器上将自定义字符串
user-defined-test-1
写入用户自定义标识文件,该字符串将在后续步骤中使用。#向指定文件写入自定义字符串,若目录不存在需手动创建。文件路径和名称由日志服务固定,不可自定义。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id
登录日志服务控制台。在Project列表中,单击目标Project。
单击
资源,单击机器组。单击机器组右侧的
,单击创建机器组。
进行如下配置后单击确定。
设置机器组名称:名称Project内唯一,必须以小写字母或数字开头和结尾,且只能包含小写字母、数字、连字符(-)和下划线(_),长度为3~128字符。
机器组标识:选择用户自定义标识。
用户自定义标识:输入配置的用户自定义标识,需要与服务器用户自定义标识文件中自定义字符串内容一致。此例为
user-defined-test-1
。
机器组创建完成后,在机器组列表单击目标机器组,在机器组状态中查看心跳状态,若为FAIL,请等待两分钟左右并手动刷新。如果心跳为OK则表示创建成功。
安装完成后若需要采集日志还需进行采集配置。
批量安装LoongCollector
ECS与Project同账号同地域场景下,自动安装功能中支持选择多台ECS。
其余场景下需借助ECS云助手来直接通过命令的方式执行临时任务,实现在ECS机器中批量执行LoongCollector安装命令的功能。
下载与安装命令请参考上述安装场景选择,如何使用ECS云助手请参考创建并执行命令。
常见问题
服务器无法连接外部网络时如何安装
在需要安装
LoongCollector
的服务器上执行uname -m
查看系统架构后,在可以访问公网的服务器上选择对应下载命令执行:${region_id}
需替换为Project所属地域的RegionID。ARM架构:
wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;
x86-64架构:
wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;
将下载的安装脚本和安装包拷贝至需要安装
LoongCollector
的服务器上,执行如下命令:${region_id}
需替换为Project所属地域的RegionID。chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-internet
执行查看命令,返回
loongcollector is running
表示启动成功。sudo /etc/init.d/loongcollectord status
由于服务器无法访问公网,你还需要通过配置代理的方式与公网建立连接。
一键安装失败
自动安装仅支持ECS与Project同账号同地域情况,若不满足请选择其他安装方式,若满足请检查前提条件中权限与网络要求是否满足。
无心跳/心跳为FAIL如何解决
心跳为FAIL时,可能是初次建立心跳需要花费一些时间,请等待两分钟左右后刷新心跳状态,若仍为FAIL,请按如下步骤检查:
请确认服务器与日志服务Project的关联关系,不同关系对应不同的安装流程。
若发现流程选择错误,在服务器上执行
chmod +x loongcollector.sh; sudo ./loongcollector.sh uninstall;
卸载命令,再重新选择正确的流程执行即可。
若流程选择正确但心跳为FAIL,请查看安装LoongCollector的服务器上
/usr/local/ilogtail/ilogtail_config.json
文件中region
信息是否与日志服务Project地域的RegionID一致。若不一致,请替换安装命令中的${region_id}后重新执行安装命令,LoongCollector将更新上述文件中内容。
此方式将会执行覆盖安装,丢失原配置,慎用于已经进行采集配置的服务器。
若信息一致或重新安装后心跳仍为FAIL,请继续执行后续检查步骤。
若流程中需要设置用户ID文件(即跨账号情况),请检查:
用户ID的值必须为主账号ID,否则请修改。
该主账号ID应为日志服务Project所属的主账号ID,而非ECS服务器所属的主账号ID。
请检查日志服务控制台的机器组中配置的用户自定义标识内容,与服务器用户自定义标识文件中的内容是否一致。若不一致,修改任意一处的内容以保持一致。
若心跳仍然为FAIL,请检查是否满足前提条件中的网络要求。
IP/用户自定义标识机器组的区别
用户自定义标识机器组虽然配置相较于IP地址机器组更复杂,但适用场景更广泛。因此上述安装中除一键安装为了简化流程使用了IP地址机器组,其他安装方式均推荐使用用户自定义标识机器组。
IP地址机器组
使用IP地址机器组时,需要在机器组中添加IP地址信息来与服务器关联。
该种方式创建与配置更简单。
当IP地址发生冲突或IP改变会导致心跳失败,影响数据采集。
用户自定义标识机器组
通过在机器组中配置一个用户自定义的字符串作为识别标识,并在服务器上的标识文件中添加该字符串来进行关联。一台服务器的标识文件中可配置多个用户自定义标识,标识之间以换行符分隔。
配置流程相比IP地址机器组更复杂。但在VPC等自定义网络环境,IP地址冲突会导致采集失败。而用户自定义标识可避免此类情况发生。
可实现机器组的自动弹性伸缩。为新增的服务器配置相同的用户自定义标识,日志服务可自动识别并添加至机器组中。若不再需要采集服务器日志,直接删除服务器上配置的标识文件,机器组自动将该服务器移除。
通常业务系统由多个模块组成,各模块均可进行独立的水平扩展,即支持添加多台服务器。为实现高效的日志数据收集和分类,建议为各模块创建单独的机器组。如常见网站分为HTTP请求模块、逻辑模块和存储模块,其自定义标识可分别定义为
http_module
、logic_module
和store_module
。
相关参考
地域
登录日志服务控制台,在Project列表中,单击目标Project。
单击Project名称右侧的
进入项目概览页面。
在基础信息中可查看当前Project的地域名称,地域名称对应RegionID请参考下表。
地域代表云服务资源的物理数据中心所在的地理位置,RegionID 是云服务地域的唯一标识符。
LoongCollector网络传输类型
服务入口(Endpoint)表示日志服务对外服务的访问域名,是访问一个项目(Project)及其内部日志数据的URL,与Project所在的地域相关。日志服务提供私网域名、公网域名与传输加速域名。可通过如下操作查看域名:
登录日志服务控制台,在Project列表中,单击目标Project。
单击Project名称右侧的
进入项目概览页面。
在访问域名中可查看当前Project的域名信息,不同的网络传输方式对应不同的域名。合适的网络传输方式有利于日志数据的传输更快速稳定。
网络类型 | 对应域名类型 | 描述 | 适用场景 |
阿里云内网 | 私网域名 | 阿里云内网为千兆共享网络,日志数据通过阿里云内网传输比公网传输更快速、稳定,内网包括VPC和经典网络。 | ECS实例和日志服务Project属于同一地域或自建服务器打通内网的情况。 说明 推荐在ECS所在地域创建日志服务Project,通过阿里云内网采集ECS中日志,不消耗公网带宽。 |
公网 | 公网域名 | 使用公网传输日志数据,不仅会受到网络带宽的限制,还可能会因网络抖动、延迟、丢包等影响数据采集的速度和稳定性。 | 以下两种情况,可以选择公网传输数据。
|
传输加速 | 传输加速域名 | 利用阿里云CDN边缘节点进行日志采集加速,相对公网采集在网络延迟、稳定性上具有很大优势,但流量需额外计费。 | 如果业务服务器、日志服务Project分别属于国内地域和国外地域,使用公网传输数据可能会出现网络延迟高、传输不稳定等问题,您可以选择传输加速传输数据。更多信息,请参见传输加速。 |