分隔符日志

日志介绍

分隔符日志以换行符作为边界，每一个自然行都是一条日志。每一条日志以固定分隔符连接日志的多个字段，分隔符（Separator）包括制表符、空格、竖线、逗号、分号等单字符。如果字段内部包含分隔符，使用双引号（Quote）对字段进行包裹。

常见的分隔符日志有：CSV、TSV 等。

日志格式

分隔符日志使用分隔符（Separator）将一条日志切分成多个字段，支持单字符和多字符两种模式。

• 单字符模式

  单字符模式通过匹配单字符进行日志切分，例如制表符（\t）、空格、竖线（|）、逗号（,)、分号（;）等单字符。

  	说明
  	分隔符不允许设置为双引号（"），双引号被作为默认的单字符分隔符的Quote。

  单字符分隔符容易出现日志字段中包含分隔符的场景，为避免日志字段被误分割，需要使用双引号（"）作为Quote，对日志字段进行包裹隔离。如果内容中在非Quote情况下出现双引号，则需要进行转义，处理成""。双引号（"）要么作为Quote使用，在字段的边界单次出现，要么作为字段内数据成对出现（"")，其它情况不符合分隔符日志的格式定义，请考虑极简模式、正则模式等其它方式进行字段解析。

  • 双引号作为Quote

    双引号（"）作为Quote时，内部包含分隔符的字段需要被一对Quote包裹。Quote必须紧邻分隔符，如有两者之间包含空格、制表符等字符，请修改格式。

    例如，逗号（,）作为分隔符，双引号作为Quote时，日志格式为：1997,Ford,E350,"ac, abs, moon",3000.00。该日志可以被解析为5个字段： 1997、Ford、E350、ac, abs, moon和3000.00。其中被Quote包裹的ac, abs, moon被看做是一个完整字段。

  • 双引号作为日志字段中的一部分

    双引号作为日志字段中的一部分时，双引号不作为Quote出现，需要进行转义，处理成""。解析字段时进行还原，即将""还原为"。

    例如，逗号作为分隔符，双引号和逗号作为日志字段中的一部分，需要将包含分逗号的日志字段用Quote包裹，同时将日志字段中的双引号转义为成对的双引号""。处理后的日志格式为：1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00。该日志可以被解析为五个字段： 1999、Chevy、Venture "Extended Edition, Very Large"、空字段和5000.00。

• 多字符模式

  多字符模式中，分隔符可以包括2~3个字符，如（||）、(&&&)、（^_^）等多字符。多字符分隔符模式下，日志解析完全根据分隔符进行匹配，您无需使用Quote对日志进行包裹。

  	说明
  	需确保日志字段内容中不会出现分隔符的完整匹配，否则会产生字段误分割。

  例如，分隔符设置为&&的情况下，日志：1997&&Ford&&E350&&ac&abs&moon&&3000.00会被解析为5个字段：1997、Ford、E350、ac&abs&moon和3000.00。

日志示例

• 单字符分隔符日志

  05/May/2016:13:30:28,10.10.10.1,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek**********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1",200,18204,aliyun-sdk-java
  05/May/2016:13:31:23,10.10.10.2,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek**********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1",401,23472,aliyun-sdk-java

• 多字符分隔符日志

  05/May/2016:13:30:28&&10.200.98.220&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&200&&18204&&aliyun-sdk-java
  05/May/2016:13:31:23&&10.200.98.221&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&401&&23472&&aliyun-sdk-java

配置Logtail收集分隔符日志

配置Logtail收集Python日志的详细操作步骤请参考Apache 日志，根据您的网络部署和实际情况选择对应配置。

1. 在Logstore列表界面单击数据接入向导图表，进入数据接入向导。
2. 选择数据类型。

   选择文本文件并单击下一步。

3. 配置数据源。
   1. 填写配置名称、日志路径，并选择日志收集模式为分隔符模式。
   2. 填写日志样例并选择分隔符。

      请根据您的日志格式选择正确的分隔符，否则日志数据会解析失败。

      
      
      

   3. 指定日志抽取结果中的Key。

      填写日志样例并选择分隔符后，日志服务会按照您选择的分隔符提取日志字段，并将其定义为Value，您需要分别为Value指定对应的Key。

      如上日志样例，使用逗号（,）进行分割，一共包含6个字段，设置Key值分别为：time，ip，url，status，latency，user-agent。

   4. 指定日志时间。

      可以选择系统时间作为一条日志的时间，也可以使用日志的一列作为时间，比如选择 time 字段（05/May/2016:13:30:29）作为时间，配置日期格式请参考文本-配置时间格式。

      
      
      

   5. 在控制台上预览日志，确认是否成功收集。