创建实时日志投递任务

更新时间:
复制 MD 格式

通过实时日志投递功能可以实时采集系统、应用程序或设备操作的日志,并投递到指定处理平台上进行存储和分析,能够有效保护数据安全,快速监控,定位业务问题和优化内容分发性能。

前提条件

  • 如果需要将ESA实时日志投递到阿里云日志服务 SLS 时,需要先开通阿里云日志服务 SLS,并且会产生相应的流量、存储等费用,相关费用由 SLS 产品收取,详情请参见日志服务(SLS)计费概述

  • 如果需要将ESA实时日志投递到阿里云对象存储 OSS 时,需要先开通阿里云对象存储 OSS,并且会产生相应的流量、存储等费用,相关费用由 OSS 产品收取,详情请参见 对象存储(OSS)计费概述

  • 如果需要将ESA实时日志投递到非阿里云平台的其他目的地,请参照您所使用的平台使用要求。

  • 通常情况下,实时日志的时效性在 5 分钟内。

创建实时日志投递任务

针对创建实时日志投递任务的流程图如下:

image
说明

对于投递目的地为非阿里云的对象存储服务(AWS S3、兼容 S3 的其他存储服务),会增加一个步骤用来校验您对该对象存储服务的归属权,以确保您的数据安全。

在创建的不同类型的实时日志投递任务的步骤中,由于日志数据的采集维度有差别,所以在第一步选择日志类型时会有所不同,其他的操作步骤均相同。

选择日志类型

边缘函数日志边缘容器日志

  1. 登录ESA控制台,在左侧导航栏选择分析和日志 > 实时日志

  2. 实时日志页面,单击创建投递任务

    image

  3. 根据界面提示填写任务名称并选择日志类型,单击下一步

    image

访问及回源日志安全防护日志四层代理日志DNS日志

  1. ESA控制台选择站点管理,在站点列单击目标站点。

  2. 在左侧导航栏,选择分析和日志 > 实时日志

  3. 投递任务页签中,单击创建投递任务image

  4. 根据界面提示填写任务名称并选择日志类型,单击下一步

    image

选择日志字段

选择日志字段页签,配置相关参数后,单击下一步

image

参数

说明

采集字段

您可以配置需要采集的字段,字段详情请参见采集字段说明

采样率

您可以通过配置采样率来降低日志推送的数量,以减少不必要的日志存储成本。配置后,ESA将按照设定的百分比随机采样日志,然后将其推送到您指定的目的地。

筛选器

您可以通过配置过滤条件来筛选投递您指定的某些日志,当前最多支持添加 20 个筛选条件。

选择目标地址

根据需要选择要投递的目标地址,单击下一步

image

类型

目标地址

日志分析服务

阿里云日志服务 SLS

对象存储服务

阿里云对象存储 OSS

AWS S3

兼容 S3 的其他存储服务

自定义服务

HTTP 服务器

Kafka

填写投递目标地址信息

投递至阿里云日志服务 SLS

配置 SLS Project、SLS Logstore、SLS 投递区域等投递地址信息后,单击完成

image

参数

说明

SLS投递区域

选择 SLS 投递区域(即日志服务区域)。

SLS Project

选择接收日志的 SLS Project 名称。

SLS Logstore

选择接收日志的 SLS Logstore 名称。如目标 Project 下暂无 Logstore,可前往 SLS 控制台创建。

授权

勾选此项用以授权ESA访问阿里云日志服务 SLS。系统将会自动创建服务关联角色 AliyunServiceRoleForESARealtimeLogPushSLS 并进行授权,允许ESA访问日志服务 SLS 的资源。角色详细信息请参见实时日志RAM角色

投递至阿里云对象存储 OSS

配置 Bucket 地域、Bucket 名称、文件保存路径等投递地址信息后,单击完成

image

参数

说明

Bucket地域

选择您的目标 Bucket 所在地域。

若您还没有建立 Bucket,您可以前往OSS 控制台 Bucket 列表,先为您的 OSS 建立一个 Bucket 以存储您的日志文件。

Bucket名称

从当前账号中选择已有的 Bucket 名称。

文件保存路径

可选择保存到 Bucket 根目录或指定路径。

授权

勾选此项用以授权ESA访问阿里云存储对象 OSS。系统将会自动创建服务关联角色 AliyunESARealtimeLogPushOSSRole 并进行授权,允许ESA访问对象存储服务 OSS 的资源。

投递至 AWS S3

配置 Bucket 路径、Bucket 区域等投递地址信息后,单击下一步image

重要

请注意不要开启 Bucket 的“请求者付款”功能,若您开启了此功能会导致日志投递失败。

参数

说明

Bucket路径

输入您的 Bucket 所在路径。

Bucket区域

从下拉列表中选择您的 Bucket 所在区域。

Bucket策略中的加密限制

  • 否:当您的 Bucket 不会强制执行服务端加密时,选择此选项;

  • 是,我的策略需要 AWS SSE-S3 AES256 服务端加密:当您的 Bucket 强制执行服务端加密时,选择此选项。

授权ESA上传文件

为保证ESA可以有权限向您的 Bucket 中投递实时日志,在此处为您提供了用于配置权限的代码。您需要将权限代码复制到 AWS S3 Bucket > 对应的存储桶 > 权限 > 存储桶策略中,即可完成ESA在 AWS S3 的日志投递权限配置。

5. 归属权校验

说明

当填写完 AWS S3 投递信息后,系统会在您的 Bucket 日志目录中发送一个.txt 后缀的令牌文件。

按照证明所有权右侧提示的路径,在 AWS S3 中找到该 txt 文件,将其中所有内容复制到所有权令牌中,点击完成

投递至 S3 兼容存储服务

配置 S3 兼容 Bucket 路径、Bucket 区域、Access Key ID、Secret Access Key、S3 兼容 Endpoint URL 等投递地址信息后,单击下一步

image

参数

说明

S3 兼容Bucket路径

输入您的 Bucket 所在路径。系统会自动在您的 Bucket 路径中自动生成当前日期的子目录以存放日志文件。

Bucket区域

输入您的 Bucket 所在区域。

Access Key ID

输入您的 Access Key ID。

Secret Access Key

输入您的 Secret Access Key。

端点 URL

输入您使用的支持 S3 的服务器 URL,其中无需包含您的 Bucket 名称或所在路径。

说明

如需跨账号推送到阿里云 OSS,请使用 S3 兼容存储服务格式进行投递。各字段与 OSS 控制台展示内容的对应关系如下:

  • S3 兼容Bucket路径:对应 OSS 的 Bucket 名称及路径。

  • Bucket区域:对应 OSS Bucket 所在地域。可从OSS提供的Endpoint中提取,Endpoint的组成形式通常为oss+地域.aliyuncs.com,如Endpointoss-cn-hangzhou.aliyuncs.com,则区域为cn-hangzhou

  • Access Key ID / Secret Access Key:填写目标 OSS 所在账号下 RAM 子账号的 AK/SK,确保该 RAM 子账号具有向指定 Bucket 写入日志的权限。

  • 端点 URL:填写 OSS 的 Endpoint 地址,例如 oss-cn-hangzhou.aliyuncs.com

5. 归属权校验

说明

当填写完 S3 兼容存储服务投递信息后,系统会在您的 Bucket 日志目录中发送一个.txt后缀的令牌文件。

按照证明所有权提示的令牌文件路径,在您的 S3 兼容存储服务器的 Bucket 中找到该 .txt 文件,将其中所有内容复制到所有权令牌中,点击完成image

投递至 HTTP 服务器

配置接收地址等投递地址信息后,单击完成

image

参数

说明

接收地址

输入您的 HTTP 服务器 URL,必须要带有 http://或 https://。

压缩方式

您可以从下拉框中选择您需要压缩的格式:

  • gzip

  • zlib

  • snappy

  • no

标态鉴权

选择您的服务器是否需要加密签名。当您选择需要使用加密签名,需要完成填写:

  • PrivateKey:填入您的隐私 Key,用于计算鉴权值。

  • ExpiredTime:填入本次签名的过期时间。

鉴权原理及示例,请参见标态鉴权说明

PrivateKey

隐私 key,用于计算鉴权值,长度大小必须在 6-18 位之间,且必须包含字母和数字。

ExpiredTime

过期时间(单位:秒),用于标识本次签名过期时间。

自定义HTTP请求头(选填)

您最多可以添加 20 个自定义 HTTP 请求头。

自定义uri参数列表 (选填)

您最多可以添加 20 个自定义 URL 参数列表。

日志格式body前缀(选填)

您可以输入自定义的日志 body 前缀。

日志格式body后缀(选填)

您可以输入自定义的日志 body 后缀。

投递至 Kafka

配置 Kafka 主题、用户名、密码、负载均衡方式等投递地址信息后,单击完成

image

参数

说明

kafka主题

输入您的 Kafka 主题分组

broker服务器地址

输入您的 broker 服务器地址

服务器地址支持域名、IP。最多可以输入 50 个地址,通过回车键来完成单个地址输入

压缩方式

您可以从下拉框中选择您需要压缩的格式,可选:gzip、snappy、lz4、zstd、no

标态鉴权

选择是否需要进行鉴权

鉴权方式

选择鉴权方式,可选:PLAIN、SCRAM-SHA-256、SCRAM-SHA-512

用户名

输入 Kafka 用户名(仅在标态鉴权选择加密签名时需填写)

密码

输入 Kafka 密码(仅在标态鉴权选择加密签名时需填写)

负载均衡方式

选择 Kafka 消息分发的负载均衡方式,可选 LeastBytes、Hash、RoundRobin、CRC32Balancer、Murmur2Balancer

说明

如需跨账号推送到阿里云 OSS,请使用 S3 兼容存储服务格式进行投递。各字段与 OSS 控制台展示内容的对应关系如下:

  • S3 兼容Bucket路径:对应 OSS 的 Bucket 名称及路径。

  • Bucket区域:对应 OSS Bucket 所在地域。可从OSS提供的Endpoint中提取,Endpoint的组成形式通常为oss+地域.aliyuncs.com,如Endpointoss-cn-hangzhou.aliyuncs.com,则区域为cn-hangzhou

  • Access Key ID / Secret Access Key:填写目标 OSS 所在账号下 RAM 子账号的 AK/SK,确保该 RAM 子账号具有向指定 Bucket 写入日志的权限。

  • 端点 URL:填写 OSS 的 Endpoint 地址,例如 oss-cn-hangzhou.aliyuncs.com

添加自定义字段

可以根据您的具体需求,手动添加额外的日志字段,以便于记录特定的信息,帮助您更详细地监控和分析日志数据。

说明

仅访问及回源日志支持采集自定义字段,采集字段为CustomFields

  1. ESA控制台选择站点管理,在站点列单击目标站点。

  2. 在左侧导航栏,选择分析和日志 > 实时日志

  3. 选择自定义字段,单击添加自定义字段

  4. 在弹出的对话框中设置字段类型字段名称,单击确定

    image

    • Request Header:请求头是客户端发送给服务器的 HTTP 请求的一部分,包含了关于请求的详细信息。请求头的主要作用是向服务器提供关于请求的上下文信息,帮助服务器更好地处理请求。

    • Response Header:响应头是服务器发送给客户端的 HTTP 响应的一部分,包含了关于响应的详细信息。响应头的主要作用是向客户端提供关于响应的上下文信息,帮助客户端更好地处理响应。

    • Cookies:Cookies 是存储在客户端(通常是浏览器)的小型文本文件,主要作用是维持会话状态。