日志介绍

分隔符日志以换行符作为边界,每一个自然行都是一条日志。每一条日志以固定分隔符连接日志的多个字段,分隔符(Separator)包括制表符、空格、竖线、逗号、分号等单字符。如果字段内部包含分隔符,使用双引号(Quote)对字段进行包裹。

常见的分隔符日志有:CSV、TSV 等。

日志格式

分隔符日志使用分隔符(Separator)将一条日志切分成多个字段,支持单字符多字符两种模式。

  • 单字符模式

    单字符模式通过匹配单字符进行日志切分,例如制表符(\t)、空格、竖线(|)、逗号(,)、分号(;)等单字符。

    说明
    分隔符不允许设置为双引号("),双引号被作为默认的单字符分隔符的Quote。

    单字符分隔符容易出现日志字段中包含分隔符的场景,为避免日志字段被误分割,需要使用双引号(")作为Quote,对日志字段进行包裹隔离。如果内容中在非Quote情况下出现双引号,则需要进行转义,处理成""。双引号(")要么作为Quote使用,在字段的边界单次出现,要么作为字段内数据成对出现(""),其它情况不符合分隔符日志的格式定义,请考虑极简模式、正则模式等其它方式进行字段解析。

    • 双引号作为Quote

      双引号(")作为Quote时,内部包含分隔符的字段需要被一对Quote包裹。Quote必须紧邻分隔符,如有两者之间包含空格、制表符等字符,请修改格式。

      例如,逗号(,)作为分隔符,双引号作为Quote时,日志格式为:1997,Ford,E350,"ac, abs, moon",3000.00。该日志可以被解析为5个字段: 1997FordE350ac, abs, moon3000.00。其中被Quote包裹的ac, abs, moon被看做是一个完整字段。

    • 双引号作为日志字段中的一部分

      双引号作为日志字段中的一部分时,双引号不作为Quote出现,需要进行转义,处理成""。解析字段时进行还原,即将""还原为"

      例如,逗号作为分隔符,双引号和逗号作为日志字段中的一部分,需要将包含分逗号的日志字段用Quote包裹,同时将日志字段中的双引号转义为成对的双引号""。处理后的日志格式为:1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00。该日志可以被解析为五个字段: 1999ChevyVenture "Extended Edition, Very Large"、空字段和5000.00

  • 多字符模式

    多字符模式中,分隔符可以包括2~3个字符,如(||)、(&&&)、(^_^)等多字符。多字符分隔符模式下,日志解析完全根据分隔符进行匹配,您无需使用Quote对日志进行包裹。

    说明
    需确保日志字段内容中不会出现分隔符的完整匹配,否则会产生字段误分割。

    例如,分隔符设置为&&的情况下,日志:1997&&Ford&&E350&&ac&abs&moon&&3000.00会被解析为5个字段:1997FordE350ac&abs&moon3000.00

日志示例

  • 单字符分隔符日志
    05/May/2016:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java
    05/May/2016:13:31:23,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",401,23472,aliyun-sdk-java
  • 多字符分隔符日志
    05/May/2016:13:30:28&&10.200.**.**&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&200&&18204&&aliyun-sdk-java
    05/May/2016:13:31:23&&10.200.**.**&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1&&401&&23472&&aliyun-sdk-java

配置Logtail收集分隔符日志

配置Logtail收集Python日志的详细操作步骤请参考Python日志,根据您的网络部署和实际情况选择对应配置。

  1. Logstore列表界面单击数据接入向导图表,进入数据接入向导。
  2. 选择数据类型。

    选择文本文件并单击下一步

  3. 配置数据源。
    1. 填写配置名称、日志路径,并选择日志收集模式为分隔符模式
    2. 填写日志样例并选择分隔符。

      请根据您的日志格式选择正确的分隔符,否则日志数据会解析失败。

      图 1. 配置数据源
    3. 指定日志抽取结果中的Key。

      填写日志样例并选择分隔符后,日志服务会按照您选择的分隔符提取日志字段,并将其定义为Value,您需要分别为Value指定对应的Key。

      如上日志样例,使用逗号(,)进行分割,一共包含6个字段,设置Key值分别为:time,ip,url,status,latency,user-agent。

    4. 指定日志时间。

      可以选择系统时间作为一条日志的时间,也可以使用日志的一列作为时间,比如选择 time 字段(05/May/2016:13:30:29)作为时间,配置日期格式请参考文本-配置时间格式

      图 2. 指定日志时间


    5. 在控制台上预览日志,确认是否成功收集。
      图 3. 预览日志