机器组是包含多台服务器的虚拟分组,日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器,支持将多台服务器上的日志采集到一个Logstore中。
前提条件
已创建Project,具体请参见创建项目Project。
服务器已安装Logtail,具体请参见安装、运行、升级、卸载Logtail。
机器组概述
日志服务Project支持将一个Logtail采集配置应用到多个机器组,或将一个机器组绑定到多个Logtail采集配置。如需采集多个服务器上的数据,您可根据服务器部署地域或类别将它们分成多个独立的机器组,并将Logtail采集配置应用到指定的机器组。日志服务便会将该配置下发至机器组内的所有的服务器,从而采集服务器上的数据。
创建机器组
步骤一:配置用户标识(可选)
存在如下任一情况时,需要在服务器上配置用户标识,若ECS与日志服务同账号可跳过该步骤。用户标识的作用在于标识这台服务器有权限被该账号访问,并授权日志服务Project通过Logtail采集该服务器日志。
服务器类型不是ECS。
服务器类型是ECS,但是与日志服务不属于同一个账号。
使用阿里云账号(主账号)登录日志服务控制台。鼠标悬浮在右上角用户头像,然后在弹出的标签页中查看并复制账号ID。如果您使用RAM用户登录,请复制主账号ID。
登录需要采集数据的服务器,通过以下方式配置用户标识,即配置阿里云账号ID文件。
Linux系统Windows系统容器环境在
/etc/ilogtail/users
目录下,创建日志服务所属的阿里云账号ID文件。touch /etc/ilogtail/users/{阿里云账号ID}
如果
/etc/ilogtail/users
目录不存在,请手动创建目录。新增、删除用户标识后,1分钟之内即可生效。
当您使用多个阿里云账号下的日志服务Project对同一台服务器进行日志采集时,您可以在同一台服务器上创建多个阿里云账号ID文件。例如:
touch /etc/ilogtail/users/{阿里云账号ID 1} touch /etc/ilogtail/users/{阿里云账号ID 2}
在
C:\LogtailData\users
目录下,创建日志服务所属的阿里云账号ID文件。使用Windows PowerShell。
ni C:\LogtailData\users\{阿里云账号ID}
使用命令提示符(cmd)。
type nul > C:\LogtailData\users\{阿里云账号ID}
当您使用多个阿里云账号下的日志服务Project对同一台服务器进行日志采集时,您可以在同一台服务器上创建多个阿里云账号ID文件。
如果Logtail部署在阿里云Kubernetes集群中,且为Logtail-ds 1.7.3及以上版本,则您可以通过容器服务管理控制台设置用户自定义标识,即在组件管理页面,修改logtail-ds组件中的LogtailDSExternalUserDefinelDs参数。具体操作,请参见管理组件。
用户标识配置只需配置文件名,无需配置文件后缀。
一台服务器上可配置多个用户标识,Logtail容器中仅支持配置一个用户标识。
若您不再使用某个用户标识,直接删除服务器上阿里云账号ID文件即可。
步骤二:创建机器组
日志服务Project支持使用IP地址或用户自定义标识创建机器组。使用IP地址创建相对更简单,但使用用户自定义标识具有以下优势,推荐使用。
在VPC等自定义网络环境中,可能出现服务器IP地址冲突问题,导致Logtail采集失败。使用用户自定义标识可避免此类情况发生。
使用用户自定义标识可实现机器组的弹性伸缩。为新增的服务器配置相同的用户自定义标识,日志服务可自动识别,并将其添加至机器组中。如果不再需要采集服务器日志,直接删除在服务器上配置的用户自定义标识文件,日志服务可自动将该服务器从机器组中移除。
通常情况下,业务系统由多个模块组成,每个模块都可以进行独立的水平扩展,即支持添加多台服务器。为了实现高效的日志数据收集和分类,建议为每个模块创建单独的机器组。用户需要在各个模块的服务器上配置自定义标识,以确保每个服务器能归属于正确的机器组。
例如常见网站分为前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块,其自定义标识可以分别定义为http_module
、cache_module
、logic_module
和store_module
。
同一机器组中不允许同时存在Linux和Windows服务器,请勿在Linux和Windows服务器上配置相同的用户自定义标识。
一个服务器可配置多个用户自定义标识,标识之间以换行符分割。
配置用户自定义标识。
Linux环境Windows环境容器环境登录已安装Logtail的Linux服务器,使用以下命令配置用户自定义标识。
如果目录
/etc/ilogtail/
不存在,请先手动创建该目录。echo "user-defined-1" > /etc/ilogtail/user_defined_id
(可选)使用以下命令检查用户自定义标识是否写入成功。如果返回
user-defined-1
,则表示写入成功。cat /etc/ilogtail/user_defined_id
新增、删除、修改
user_defined_id
文件后,默认情况下,1分钟内生效。如果需要立即生效,请执行以下命令重启Logtail。/etc/init.d/ilogtaild stop /etc/init.d/ilogtaild start
登录已安装Logtail的Windows服务器,在
C:\LogtailData
目录下新建user_defined_id
文件并写入user-defined-1
,完成后保存。如果目录
C:\LogtailData
不存在,请先手动创建该目录。新增、删除、修改user_defined_id文件后,默认情况下,1分钟内生效。如需立即生效,请根据以下步骤重启Logtail。
选择
。在服务对话框中,选择对应的服务。
如果是0.x.x.x版本,选择LogtailWorker服务。
如果是1.0.0.0及以上版本,选择LogtailDaemon服务。
右键单击重新启动使配置生效。
用户自定义标识配置在Logtail容器的环境变量
ALIYUN_LOGTAIL_USER_DEFINED_ID
中,可通过docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID
命令查看。登录日志服务控制台,在Project列表,单击打开目标Project。在左侧导航栏中,选择 。在打开的机器组页面中,选择机器组右侧的 。
在弹出的创建机器组页面,填写以下信息,并单击确定。
参数
说明
名称
机器组名称,命名规则如下所示:
只能包括小写字母、数字、短划线(-)和下划线(_)。
必须以小写字母或者数字开头和结尾。
长度必须在 2~128 字符之间。
创建后,不支持修改机器组名称,请谨慎填写。
机器组标识
选择用户自定义标识。
机器组Topic
(可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。
用户自定义标识
填入配置步骤中已配置的用户自定义标识,例如
user-defined-1
。
登录日志服务控制台,在Project列表,单击打开目标Project。
左侧导航栏中,选择
。在打开的机器组页面中,选择机器组右侧的 。在弹出的创建机器组页面,填写以下信息,并单击确定。
参数
说明
名称
机器组名称,命名规则如下所示:
只能包括小写字母、数字、短划线(-)和下划线(_)。
必须以小写字母或者数字开头和结尾。
长度必须在 2~128 字符之间。
创建后,不支持修改机器组名称,请谨慎填写。
机器组标识
选择IP地址。
机器组Topic
(可选)机器组Topic用于区分不同服务器产生的日志数据。更多信息,请参见日志主题。
IP地址
填入Logtail自动获取的服务器IP:
在已安装Logtail的服务器,打开
app_info.json
文件,并查看ip
字段的值。app_info.json
文件路径说明如下所示。Logtail自动获取的服务器IP地址记录在
app_info.json
文件的ip
字段中,如下所示。
存在多台服务器时,请手动输入对应的IP地址,IP地址之间需使用换行符分隔。
同一机器组中不允许同时存在Linux和Windows服务器。请勿将Windows和Linux服务器IP添加到同一机器组中。
查看机器组配置
在机器组列表中,单击目标机器组进入机器组配置页面。您可在此查看机器组信息、机器组状态和管理配置。
如果心跳状态显示OK,则表示服务器上的Logtail实例与日志服务Project连接正常。
如果心跳状态显示FAIL,可能是配置未生效导致(配置生效时间大约需要2分钟)。如果2分钟后依然显示FAIL,则可能是其他配置问题,您可参见Logtail机器组问题排查思路(主机场景)处理。
应用Logtail采集配置到机器组
在机器组列表中,单击目标机器组进入机器组配置页面。然后单击该页面右上角的修改。
在管理配置区域,选择左侧的Logtail采集配置,然后单击
>
,将其移动到右侧已生效Logtail配置区域。添加Logtail配置到机器组后,该Logtail配置会被下发到机器组内的服务器的Logtail上。
从机器组移除Logtail配置后,该Logtail配置会从机器组内的服务器的Logtail上移除。
修改完成后,单击保存。
修改机器组信息
在机器组列表中,单击目标机器组进入机器组配置页面。然后单击该页面右上角的修改。
日志服务支持修改以下机器组信息:
更改机器组标识:用于切换机器组类型。
更新机器组Topic:机器组Topic作用请参见日志主题。
更新用户自定义标识或IP地址:需要与机器组类型匹配。
修改完成后,单击保存。
删除机器组
在机器组列表中,选择目标机器组对应的
。在弹出的对话框中,输入机器组名称,并单击确认。
相关文档
在日志服务Project中创建Logtail配置。更多信息,请参见主机文本日志采集(手动安装)。
管理机器组的API请参见:
- 本页导读 (1)
- 前提条件
- 机器组概述
- 创建机器组
- 步骤一:配置用户标识(可选)
- 步骤二:创建机器组
- 查看机器组配置
- 应用Logtail采集配置到机器组
- 修改机器组信息
- 删除机器组
- 相关文档