全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

日志主题

更新时间:2017-12-28 10:04:32

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考产品简介。

日志主题(Topic)为用户自定义字段,用以标记一批日志,一个日志库内的日志可以通过日志Topic来划分。用户可以在写入时指定日志Topic,并在查询时指定查询的日志Topic。例如,访问日志根据不同站点进行标记、一个平台用户可以使用用户编号作为日志Topic写入日志。这样在查询时可利用日志主题让不同用户仅看到自己的日志。如果不需要划分一个日志库内的日志,让所有日志使用相同的日志Topic即可。默认值为空字符串,空字符串也为一个有效的Topic。

您可以通过控制台设置或者修改Topic。

注意:syslog不支持配置Topic。

Topic生成方式

用户可以在Logtail收集日志时设置Topic,也可以使用API/SDK上传数据时设置Topic。目前支持通过控制台设置Topic生成方式为空-不生成Topic机器组Topic属性文件路径正则

  • 空-不生成Topic

    通过控制台配置Logtail收集文本文件时,日志Topic生成方式默认为空-不生成Topic,即Topic为空字符串,在查询日志时不需要输入Topic即可查询。

  • 机器组Topic属性

    机器组Topic属性方式用于明确区分不同服务器产生的日志数据。如果您的不同服务器日志数据均保存在相同名称的所在的文件路径和文件名中,当您需要在收集日志时通过Topic区分不同服务器的日志数据,可以将机器分为不同的机器组,即在创建机器组时,为不同的机器组设置不同的Topic属性,并设置Topic生成方式机器组Topic属性。将两个机器组应用之前创建的Logtail配置后,即完成对应配置。

    如选择机器组Topic属性,Logtail上报数据时会将机器所在机器组的Topic属性作为主题名称上传至日志服务,在使用日志索引分析功能查询时需要指定Topic,即需要指定目标机器组Topic属性为查询条件。

  • 文件路径正则

    文件路径正则方式用于区分具体用户或实例产生的日志数据。如果服务日志根据不同的用户或者实例将日志记录在不同目录下面,但是只要下级目录下同、日志文件名称相同,日志服务在收集日志文件时就无法明确区分日志内容是由那个用户或实例产生的。此时可以设置Topic生成方式文件路径正则,并且输入文件路径的正则表达式,配置Topic为实例名称。

    当选择文件路径正则主题生成方式时,Logtail上报数据时会将实例名称作为主题名称上传至日志服务。根据您的目录结构和配置,会生成不同的Topic,在使用日志索引分析功能查询时需要指定主题名称为实例名称。

设置日志Topic

  1. 根据使用Logtail采集文本文件,通过控制台配置Logtail。

    如您需要配置Topic生成方式为机器组Topic属性,请在创建机器组/修改机器组页面中配置机器组Topic

  2. 在Logtail配置页面中,展开高级选项,在Topic生成方式中选择Topic的生成方式。

    topic

修改日志Topic

如您需要修改日志Topic的生成方式,请直接在Logtail配置界面修改Topic生成方式选项。

注意:修改后的配置仅对生效后采集的新数据有效。

本文导读目录