日志服务提供Logtail分隔符模式快速采集日志。采集到日志后,您可以进行多维度分析、加工、投递等操作。本文介绍如何通过日志服务控制台创建分隔符模式的Logtail配置采集日志。
前提条件
- 已创建Project和Logstore。更多信息,请参见创建Project和创建Logstore。
- 已开通服务器的80端口和443端口。
操作步骤
操作视频
本视频指导如何使用分隔符模式采集日志。
附录:分隔符简介及日志样例
分隔符日志以换行符为边界,每一行都是一条日志。分隔符日志使用分隔符将一条日志分割成多个字段,支持单字符模式和多字符模式。如果字段内部包含分隔符,可以使用引用符对字段进行包裹。
- 单字符模式
单字符模式的日志示例如下所示。
05/May/2016:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java 05/May/2016:13:31:23,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",401,23472,aliyun-sdk-java
在单字符模式中,您需要指定分隔符,也可以同时指定引用符。- 分隔符:通过单字符的分隔符分割日志,例如:制表符(\t)、竖线(|)、空格、英文逗号(,)、分号(;)和不可见字符等单字符。分隔符不支持为双引号(")。
双引号(")可以作为引用符,在字段边界出现,也可以作为字段内容出现。如果双引号(")作为字段内容出现,需要进行转义,即在日志中处理为""。日志服务解析字段时会自动还原,将""还原为"。例如:分隔符为英文逗号(,),引用符为双引号("),且日志字段内部包含双引号(")和英文逗号(,),需要将包含英文逗号(,)的日志字段用引用符包裹,同时将日志字段中的双引号(")转义为""。处理后的日志格式为:1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00,该日志可以被解析为5个字段:1999、Chevy、Venture "Extended Edition, Very Large"、空字段和5000.00。
- 引用符:日志字段内容中包含分隔符时,需要指定引用符进行包裹,被引用符包裹的内容会被日志服务解析为一个完整字段。
引用符可以设置为制表符(\t)、竖线(|)、空格、英文逗号(,)、分号(;)和不可见字符等单字符。
例如:分隔符为英文逗号(,),引用符为双引号("),日志为1997,Ford,E350,"ac, abs, moon",3000.00,该日志可以被解析为5个字段:1997、Ford、E350、ac, abs, moon、3000.00。
- 分隔符:通过单字符的分隔符分割日志,例如:制表符(\t)、竖线(|)、空格、英文逗号(,)、分号(;)和不可见字符等单字符。分隔符不支持为双引号(")。
- 多字符模式
多字符模式的日志示例如下所示。
05/May/2016:13:30:28&&10.200.**.**&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1&&200&&18204&&aliyun-sdk-java 05/May/2016:13:31:23&&10.200.**.**&&POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1&&401&&23472&&aliyun-sdk-java
多字符模式中,分隔符包括2~3个字符(例如:||、&&&、^_^)。日志解析根据分隔符进行匹配,您无需使用引用符对日志字段进行包裹。
说明 确保日志字段内容中不会出现分隔符的完整匹配,否则会导致字段误分割。例如:分隔符为&&,日志为1997&&Ford&&E350&&ac&abs&moon&&3000.00会被解析为5个字段:1997、Ford、E350、ac&abs&moon、3000.00。
在文档使用中是否遇到以下问题
更多建议
匿名提交