本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。
阿里云日志服务支持导入Google Cloud Pub/Sub消息进行日志分析、加工等操作。本文介绍导入Google Cloud Pub/Sub消息到日志服务的操作步骤。
前提条件
重要 本文档为阿里云原创文档,知识产权归阿里云所有,由于本文档旨在介绍阿里云与第三方产品交互的服务能力,因此可能会提及第三方公司或产品等名称。
- 已在Google Cloud Pub/Sub上创建传输类型为Pull的订阅。具体操作,请参见创建订阅。
- 已创建服务账号并下载该账号的密钥文件。具体操作,请参见创建服务账号。
创建服务账号时,需授予该账号Google Cloud Pub/Sub Editor角色。
- 已创建Project和Logstore。具体操作,请参见创建Project和创建Logstore。
创建数据导入配置
重要 目前,仅支持新加坡地域。
登录日志服务控制台。
在Project列表区域,单击目标Project。
- 在 页签中,单击目标Logstore左侧的>,然后将鼠标悬浮在 上,单击+。
- 在快速数据接入对话框,单击Google Cloud Pub/Sub - 数据导入。
- 设置导入配置。
- 设置参数。
参数 说明 配置名称 设置导入配置的名称。 项目ID 输入Google Cloud的项目ID。 订阅ID 输入Google Cloud Pub/Sub的订阅ID。 导入密钥文件 导入已分配了Google Cloud Pub/Sub Editor角色的服务账号的密钥文件。该文件为JSON格式。 消息格式 根据消息被发布到Google Cloud Pub/Sub时的格式进行选择,支持JSON和文本格式。 时间设置 设置数据时间。导入Google Cloud Pub/Sub消息到日志服务后,可选择使用如下时间。 - 使用系统时间:使用导入消息到日志服务时的系统时间。
- 使用消息发布时间:使用消息被发布到Google Cloud Pub/Sub的时间。
- 使用消息内时间:使用消息自带的时间,您需要手动配置时间字段和格式。
时间字段 当选择消息格式为json,时间设置为使用消息内时间时,您需要配置一个时间字段,即配置为Google Cloud Pub/Sub消息中表示时间的字段。 提取时间正则 当选择消息格式为文本,时间设置为使用消息内时间时,您需要使用正则表达式提取Google Cloud Pub/Sub消息中的时间。 时间格式 当选择时间设置为使用消息内时间时,您需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段。 时间格式的语法详情请参见Class SimpleDateFormat。常见的时间格式请参见时间格式。 说明 Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。时区 当选择时间设置为使用消息内时间时,您需要指定一个时区,用于解析时间的时区。 如果提取的时间中已有时区信息,则此参数无效。
- 单击预览,预览导入结果。
- 确认无误后,单击下一步。
- 设置参数。
- 预览数据及创建索引,然后单击下一步。日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击自动生成索引,日志服务将自动生成字段索引。更多信息,请参见创建索引。重要 如果您要查询和分析日志,那么全文索引和字段索引必须至少启用一种。同时启用时,以字段索引为准。
- 单击查询日志,进入查询和分析页面,确认是否成功导入Google Cloud Pub/Sub消息。等待1分钟左右,如果有目标Google Cloud Pub/Sub消息导入,则说明导入成功。
查看导入配置
创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。
- 在Project列表区域,单击目标Project。
- 在 中,选择目标日志库下的 ,单击配置名称。
- 在导入配置概览页面,查看导入配置的基本信息和统计报表。
相关操作
在配置的导入配置概览页面,您还可以进行如下操作。
- 修改配置
单击修改配置,修改导入配置的相关信息。更多信息,请参见创建数据导入配置。
- 删除配置 单击删除配置,删除该导入配置。警告 删除后不可恢复,请谨慎操作。
- 停止
单击停止,停止该导入任务。
文档内容是否对您有帮助?