文档

导入Google Cloud Pub/Sub消息进行日志分析

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

阿里云日志服务支持导入Google Cloud Pub/Sub消息进行日志分析、加工等操作。本文介绍导入Google Cloud Pub/Sub消息到日志服务的操作步骤。

前提条件

重要 本文档为阿里云原创文档,知识产权归阿里云所有,由于本文档旨在介绍阿里云与第三方产品交互的服务能力,因此可能会提及第三方公司或产品等名称。
  • 已在Google Cloud Pub/Sub上创建传输类型为Pull的订阅。具体操作,请参见创建订阅
  • 已创建服务账号并下载该账号的密钥文件。具体操作,请参见创建服务账号

    创建服务账号时,需授予该账号Google Cloud Pub/Sub Editor角色。

  • 已创建Project和Logstore。具体操作,请参见创建Project创建Logstore

创建数据导入配置

重要 目前,仅支持新加坡地域。
  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

  3. 日志存储 > 日志库页签中,单击目标Logstore左侧的>,然后将鼠标悬浮在数据接入 > 数据导入上,单击+
  4. 快速数据接入对话框,单击Google Cloud Pub/Sub - 数据导入
  5. 设置导入配置。
    1. 设置参数。
      参数说明
      配置名称设置导入配置的名称。
      项目ID输入Google Cloud的项目ID。
      订阅ID输入Google Cloud Pub/Sub的订阅ID。
      导入密钥文件导入已分配了Google Cloud Pub/Sub Editor角色的服务账号的密钥文件。该文件为JSON格式。
      消息格式根据消息被发布到Google Cloud Pub/Sub时的格式进行选择,支持JSON和文本格式。
      时间设置设置数据时间。导入Google Cloud Pub/Sub消息到日志服务后,可选择使用如下时间。
      • 使用系统时间:使用导入消息到日志服务时的系统时间。
      • 使用消息发布时间:使用消息被发布到Google Cloud Pub/Sub的时间。
      • 使用消息内时间:使用消息自带的时间,您需要手动配置时间字段和格式。
      时间字段当选择消息格式json时间设置使用消息内时间时,您需要配置一个时间字段,即配置为Google Cloud Pub/Sub消息中表示时间的字段。
      提取时间正则当选择消息格式文本时间设置使用消息内时间时,您需要使用正则表达式提取Google Cloud Pub/Sub消息中的时间。
      时间格式当选择时间设置使用消息内时间时,您需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段。 时间格式的语法详情请参见Class SimpleDateFormat。常见的时间格式请参见时间格式
      说明 Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。
      时区当选择时间设置使用消息内时间时,您需要指定一个时区,用于解析时间的时区。

      如果提取的时间中已有时区信息,则此参数无效。

    2. 单击预览,预览导入结果。
    3. 确认无误后,单击下一步
  6. 预览数据及创建索引,然后单击下一步
    日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击自动生成索引,日志服务将自动生成字段索引。更多信息,请参见创建索引
    重要 如果您要查询和分析日志,那么全文索引和字段索引必须至少启用一种。同时启用时,以字段索引为准。
  7. 单击查询日志,进入查询和分析页面,确认是否成功导入Google Cloud Pub/Sub消息。
    等待1分钟左右,如果有目标Google Cloud Pub/Sub消息导入,则说明导入成功。

查看导入配置

创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。

  1. Project列表区域,单击目标Project。
  2. 日志存储 > 日志库中,选择目标日志库下的数据接入 > 数据导入,单击配置名称。
  3. 导入配置概览页面,查看导入配置的基本信息和统计报表。

相关操作

在配置的导入配置概览页面,您还可以进行如下操作。

  • 修改配置

    单击修改配置,修改导入配置的相关信息。更多信息,请参见创建数据导入配置

  • 删除配置
    单击删除配置,删除该导入配置。
    警告 删除后不可恢复,请谨慎操作。
  • 停止

    单击停止,停止该导入任务。

  • 本页导读 (1)
文档反馈