全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

分隔符日志

更新时间:2017-07-10 15:38:13

分隔符日志以换行符作为边界,每一个自然行都是一条日志。每一条日志以固定分隔符连接日志的多个字段,分隔符(Separator)包括制表符、空格、竖线、逗号、分号等单字符。如果字段内部包含分隔符,使用双引号(Quote)对字段进行包裹。

常见的分隔符日志有CSV日志TSV日志 等。

日志格式

分隔符日志使用分隔符(Separator)将一条日志切分成多个字段,支持单字符多字符两种模式。

单字符模式

单字符模式通过匹配单字符进行日志切分,例如制表符(\t)、空格、竖线(|)、逗号(,)、分号(;)等单字符。

注意: 分隔符不允许设置为双引号("),双引号被作为默认的单字符分隔符的Quote。

单字符分隔符容易出现日志字段中包含分隔符的场景,为避免日志字段被误分割,需要使用双引号(")作为Quote,对日志字段进行包裹隔离。如果内容中在非Quote情况下出现双引号,则需要进行转义,处理成""。双引号(")要么作为Quote使用,在字段的边界单次出现,要么作为字段内数据成对出现(""),其它情况不符合分隔符日志的格式定义,请考虑极简模式、正则模式等其它方式进行字段解析。

  • 双引号作为Quote

    双引号(")作为Quote时,内部包含分隔符的字段需要被一对Quote包裹。Quote必须紧邻分隔符,如有两者之间包含空格、制表符等字符,请修改格式。

    例如,逗号(,)作为分隔符,双引号作为Quote时,日志格式为:1997,Ford,E350,"ac, abs, moon",3000.00。该日志可以被解析为5个字段: 1997FordE350ac, abs, moon3000.00。其中被Quote包裹的ac, abs, moon被看做是一个完整字段。

  • 双引号作为日志字段中的一部分

    双引号作为日志字段中的一部分时,双引号不作为Quote出现,需要进行转义,处理成""。解析字段时进行还原,即将""还原为"

    例如,逗号作为分隔符,双引号和逗号作为日志字段中的一部分,需要将包含分逗号的日志字段用Quote包裹,同时将日志字段中的双引号转义为成对的双引号""。处理后的日志格式为:1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00。该日志可以被解析为五个字段: 1999ChevyVenture "Extended Edition, Very Large"、空字段和5000.00

多字符模式

多字符模式中,分隔符可以包括2~3个字符,如(||)、(&&&)、(^_^)等多字符。多字符分隔符模式下,日志解析完全根据分隔符进行匹配,您无需使用Quote对日志进行包裹。

注意: 需确保日志字段内容中不会出现分隔符的完整匹配,否则会产生字段误分割。

例如,分隔符设置为&&的情况下,日志:1997&&Ford&&E350&&ac&abs&moon&&3000.00会被解析为5个字段:1997FordE350ac&abs&moon3000.00

日志示例

单字符分隔符日志

  1. 05/May/2016:13:30:28,10.200.98.220,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1",200,18204,aliyun-sdk-java
  2. 05/May/2016:13:31:23,10.200.98.221,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1",401,23472,aliyun-sdk-java

多字符分隔符日志

  1. 05/May/2016:13:30:28&&10.200.98.220&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&200&&18204&&aliyun-sdk-java
  2. 05/May/2016:13:31:23&&10.200.98.221&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&401&&23472&&aliyun-sdk-java

配置Logtail收集分隔符日志

通过Logtail收集分隔符日志完整流程请参考快速入门,根据您的网络部署和实际情况选择对应配置。本文档仅展示配置Logtail的第二步指定收集模式步骤中的详细配置。

  1. 填写配置名称、日志路径,并选择日志收集模式为分隔符模式

  2. 填写日志样例并选择分隔符。

    请根据您的日志格式选择正确的分隔符,否则日志数据会解析失败。

    1

  3. 指定日志抽取结果中的Key。

    填写日志样例并选择分隔符后,日志服务会按照您选择的分隔符提取日志字段,并将其定义为Value,您需要分别为Value指定对应的Key。

    如上日志样例,使用逗号(,)进行分割,一共包含6个字段,设置Key值分别为:time,ip,url,status,latency,user-agent。

  4. 指定日志时间。

    可以使用选择系统时间作为一条日志的时间,也可以使用日志的一列作为时间,比如选择 time 字段(05/May/2016:13:30:29)作为时间,配置日期格式请参考Logtail 日期格式

    2

  5. 在控制台上预览日志,确认是否成功收集。delimiter采集预览

本文导读目录