本快速入门在Windows环境下,演示配置Logtail采集阿里云ECS日志并投递日志到MaxCompute的基本流程。本快速入门涉及采集日志、实时查询、投递日志等日志服务基本功能,是日志服务的入门级操作指南。

日志服务(Log Service)是阿里云提供的、针对海量日志收集、存储、查询的平台化服务。您可以使用日志服务来集中收集服务集群中所有的日志,并支持实时消费,实时查询和投递到OSS、MaxCompute等其他云产品做进一步分析。

日志服务操作流程

图 1. 操作流程

投递流程

视频介绍阿里云日志服务快速指南

准备开始

  1. 开通日志服务。

    使用注册成功的阿里云账号登录 日志服务产品页,单击 管理控制台

  2. (可选) 创建密钥对 。
    说明 如您需要通过SDK写入数据,请创建主账号或子账号密钥对。通过Logtail采集日志不需要创建密钥对。

    在日志服务管理控制台,将鼠标移至页面右上角您的用户名上方,在显示的菜单中单击 AccessKey管理。创建密钥对(AccessKey),确认状态已设置为启用


    AccessKey管理
  3. 创建项目。

    当您第一次进入日志服务管理控制台,系统会提示您创建一个项目(Project)。您也可以通过单击创建Project进行操作。

    创建Project需要指定Project名称所属区域,请根据您的实际需求进行创建。


    创建项目
  4. 创建日志库。

    在Project创建完成的同时,系统会提示您创建一个日志库(以下称为Logstore)。您也可以进入该Project,通过单击页面左侧搜索框后的创建日志库图标进行操作。创建Logstore需要指定如何使用这些日志。


    创建日志库

配置数据接入向导

在日志服务管理控制台单击目标Project进入概览页面。单击页面右上方的接入数据按钮。

日志服务支持多种云产品、自建软件和自定义数据的日志收集。本文以采集文本日志为例,详细步骤及说明请参考采集文本日志
  1. 选择数据类型

    单击接入数据中的单行-文本日志

  2. 选择日志空间

    可以选择已有的Logstore,也可以新建Project和Logstore。

  3. 创建机器组。
    在创建机器组之前,您需要首先确认已经安装了Logtail。 安装完Logtail后单击确认安装完毕创建机器组。如果您之前已经创建好机器组 ,请直接单击使用现有机器组
  4. 机器组配置

    源机器组中的机器组移动到应用机器组中。

  5. Logtail配置
    • 指定配置名称日志路径

      请按照页面提示填写配置名称、日志路径和日志文件名称。文件名称可以填写完整名称,也支持通配符模式匹配。

    • 指定日志收集模式
      日志服务目前支持极简模式、分隔符模式、JSON模式、完整正则模式等方式解析日志。本文以分隔符模式为例,关于收集模式的详细说明请参考采集文本日志配置解析
      图 2. 设置数据源

      设置数据源
    • 填写日志样例

      指定日志收集模式为分隔符模式完整正则模式时,需要您填写日志样例。日志服务支持在配置Logtail的同时,根据您选择的配置对日志样例尝试解析。如果解析失败,需要您修改分隔符配置或者正则表达式。请将需要解析的日志样例填写到对应位置。

    • 指定分隔符引用符

      您可以指定分隔符为制表符、竖线、空格,也可以自定义分隔符。请根据您的日志格式选择正确的分隔符,否则日志数据会解析失败。

    • 指定日志抽取结果中的Key。
      填写日志样例并选择分隔符后,日志服务会按照您选择的分隔符提取日志字段,并将其定义为Value,您需要分别为Value指定对应的Key。
      图 3. 日志内容抽取结果

      抽取结果
    • 酌情选择高级选项

      一般情况下,请保持高级选项的默认配置。如您有其他需求,请参考采集文本日志中的高级配置相关说明。

  6. 查询分析配置
    • 全文索引

      您可以选择开启全文索引中文分词并确认是否启用大小写敏感、确认分词符内容。

    • 字段索引属性

      单击字段名称下方的加号新增一行,填写字段名称类型别名大小写敏感分词符、选择是否中文分词开启统计

    说明
    1. 全文索引和字段索引属性必须至少启用一种。同时启用时,以字段索引属性为准。
    2. 索引类型为long/double时,大小写敏感和分词符属性无效。
    3. 如何设置索引请参考开启并配置索引。个别字段为日志服务保留字段,请知悉。
    4. 如需使用Nginx模板或消息服务模板,请在查询界面的查询分析属性中配置。
    图 4. 查询分析
    查询分析

    完成以上步骤后,日志服务开始收集阿里云ECS上的日志,您可以通过控制台和API/SDK对已收集的日志进行实时消费。

    说明
    • Logtail配置推送生效时间最长需要3分钟,请耐心等待。
    • Logtail收集错误可以参见诊断采集错误
  7. 日志投递。

    日志服务不仅支持对多种来源、格式的数据进行批量采集和管理维护,还支持将日志数据投递到OSS、MaxCompute等云产品进行计算分析。

    如您需要投递日志到OSSMaxCompute,请单击对应的立即尝试按钮。

    本文档以投递MaxCompute为例。为把日志服务内的日志投递到MaxCompute,您需要首先准备好相应的MaxCompute环境。

    • 准备步骤
      1. 开通MaxCompute服务。您需要在阿里云管理控制台上启用MaxCompute服务。
      2. 创建存储投递日志的MaxCompute表。请参考 MaxCompute了解表的结构和相关注意事项。
    • 操作步骤
      单击开始投递后跳转至LogHub —— 数据投递页面,在该页面需要配置投递大数据计算服务 MaxCompute(原 ODPS)的相关内容。
      图 5. 开启投递

      开启投递
      说明 __source____time____topic____extract_others____partition_time__是日志服务的系统保留字段,建议使用。对于映射配置的限制详情请参见通过日志服务投递日志到MaxCompute

      填写完成后,单击确认即可开始投递。

查询日志

配置数据接入向导中配置了索引,可以对采集到的日志数据进行实时查询与SQL分析。

请返回至概览页面,单击日志库名称后的日志库管理图标图标,选择查询分析后进入查询界面。输入关键字、Topic或者查询分析语句,并设定日志时间范围、单击查询/分析来查询日志,详细说明请参考查询日志

另外,日志服务支持上下文查询快速查询快速分析等查询功能,还支持通过SQL语句获取多种格式的分析图表、通过仪表盘自制数据分析大盘等多种方式的可视化分析手段,更多功能请参考其他功能

例如,查询指定时间段的PV,并以表格形式表示。


查询日志