创建实时日志投递任务_边缘安全加速(ESA)-阿里云帮助中心

通过实时日志投递功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定处理平台上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。

前提条件

1.如果需要将ESA实时日志投递到阿里云日志服务SLS时，需要先开通阿里云日志服务SLS；

2.如果需要将ESA实时日志投递到阿里云对象存储OSS时，需要先开通阿里云对象存储OSS；

3.如果需要将ESA实时日志投递到非阿里云平台的其他目的地，请参照您所使用的平台使用要求。

创建实时日志投递

针对创建实时日志投递任务的流程图如下：

说明

对于投递目的地为非阿里云的对象存储服务（AWS S3、兼容S3的其他存储服务），会增加一个步骤用来校验您对该对象存储服务的归属权，以确保您的数据安全。

在创建的不同类型的实时日志投递任务的步骤中，由于边缘函数日志是针对账户下的所有站点，区别于另外三种针对单站点的日志，所以在第一步选择日志类型时会有所不同，其他的操作步骤均相同。

1. 选择日志类型

边缘函数日志

登录ESA控制台。
在左侧导航栏，选择分析和日志 > 实时日志。
在实时日志页面，单击创建投递任务。

在选择日志类型页签，配置相关参数，单击下一步。

参数

说明

任务名称

用于标识实时日志任务，由数字、字母或中划线组成，最大支持200个字符。

日志类型

支持以下业务类型的实时日志投递：

边缘函数日志
边缘容器日志

访问日志、安全防护日志、四层代理日志

登录ESA控制台。
在左侧导航栏，单击站点管理。
在站点管理页面，单击目标站点名称，或对应站点操作列的详情。
在左侧导航栏，选择分析和日志 > 实时日志。
在实时日志页面，在投递任务标签页下，单击创建投递任务。
在选择日志类型页签，配置相关参数，单击下一步。

参数

说明

任务名称

用于标识实时日志任务，由数字、字母或中划线组成，最大支持200个字符。

日志类型

支持以下业务类型的实时日志投递：

访问及回源日志
安全防护日志
四层代理日志

2. 选择日志字段

在选择日志字段页签，配置相关参数后，单击下一步。

参数	说明
采集字段	您可以配置需要采集的字段，字段详情请参见采集字段说明。
采样率	您可以通过配置采样率来降低日志推送的数量，以减少不必要的日志存储成本。配置后，ESA将按照设定的百分比随机采样日志，然后将其推送到您指定的目的地。
筛选器	您可以通过配置过滤条件来筛选投递您指定的某些日志，当前最多支持添加20个筛选条件。

3. 选择投递目标地址

在选择投递目标地址页签选择您需要投递的目标地址（投递至SLS或OSS时需要进行授权），单击下一步。

类型	目标地址
日志分析服务	阿里云日志服务SLS
对象存储服务	阿里云对象存储OSS
	AWS S3
	兼容S3的其他存储服务
自定义服务	HTTP服务器
自定义服务	Kafka

4. 投递目标地址信息

投递至阿里云日志服务SLS

配置采集区域、SLS投递区域等投递地址信息后，单击完成。

参数	说明
采集区域	ESA日志采集区域。
SLS投递区域	SLS投递区域（即日志服务区域）。
SLS Project	从当前账号中选择Project：选择同阿里云账号下已经创建好的SLS Project进行投递。自定义新建Project：新建日志服务的Project名称，不能与阿里云日志服务SLS控制台上的其他Project名称重复。
SLS Logstore	从当前账号中选择Logstore：选择同阿里云账号下已经创建好的SLS Logstore进行投递。自定义新建Logstore：不能与同Project的其它Logstore名称重复。说明默认创建的Logstore类型为Standard，日志保存时长30天且开启全文索引，相关费用由SLS产品收取。如需修改Logstore属性，请在创建后前往阿里云日志服务SLS控制台进行修改。
授权	勾选此项用以授权ESA访问阿里云日志服务SLS。系统将会自动创建服务关联角色AliyunServiceRoleForESARealtimeLogPushSLS并进行授权，允许ESA访问日志服务SLS的资源。角色详细信息请参见实时日志RAM角色。

投递至阿里云对象存储OSS

配置采集区域、Bucket地域等投递地址信息后，单击完成。

参数	说明
采集区域	ESA日志采集区域。
Bucket地域	选择您的目标Bucket所在地域。说明若您还没有建立Bucket，您可以前往OSS控制台Bucket列表，先为您的OSS建立一个Bucket以存储您的日志文件。
Bucket名称	从当前账号中选择已有的Bucket名称。
文件保存路径	当前目录：系统会根据当前日期来为您自动生成一个日志存放目录。指定目录：您可以自定义您想要存放的目录。填入您自定义的目录后，系统会快速地为您创建对应的子目录，用于存放日志。说明目录命名规范：不允许使用表情符，请使用符合要求的UTF-8； /用于分隔符，不允许以/或\开头，不允许出现连续的/；不允许名为..的子目录；总长度控制在1-254个字符。
授权	勾选此项用以授权ESA访问阿里云存储对象OSS。系统将会自动创建服务关联角色AliyunESARealtimeLogPushOSSRole并进行授权，允许ESA访问对象存储服务OSS的资源。

投递至AWS S3

配置采集区域、Bucket路径等投递地址信息后，单击下一步。

重要

请注意不要开启Bucket的“请求者付款”功能，若您开启了此功能会导致日志投递失败。

参数	说明
采集区域	ESA日志采集区域。
Bucket路径	输入您的Bucket所在路径。
Bucket区域	从下拉列表中选择您的Bucket所在区域。
Bucket策略中的加密限制	否：当您的Bucket不会强制执行服务端加密时，选择此选项；是，我的策略需要AWS SSE-S3 AES256 服务端加密：当您的Bucket强制执行服务端加密时，选择此选项。
授权ESA上传文件	为保证ESA可以有权限向您的Bucket中投递实时日志，在此处为您提供了用于配置权限的代码。您需要将权限代码复制到AWS S3 Bucket > 对应的存储桶 > 权限 > 存储桶策略中，即可完成ESA在AWS S3的日志投递权限配置。

归属权校验

说明

当填写完AWS S3投递信息后，系统会在您的Bucket日志目录中发送一个.txt后缀的令牌文件。

按照证明所有权右侧提示的路径，在AWS S3中找到该txt文件，将其中所有内容复制到所有权令牌中，点击完成。

投递至S3兼容存储服务

配置采集区域、S3 兼容Bucket路径等投递地址信息后，单击下一步。

参数	说明
采集区域	ESA日志采集区域。
S3 兼容Bucket路径	输入您的Bucket所在路径。系统会自动在您的Bucket路径中自动生成当前日期的子目录以存放日志文件。
Bucket区域	输入您的Bucket所在区域。
Access Key ID	输入您的Access Key ID。
Secret Access Key	输入您的Secret Access Key。
端点URL	输入您使用的支持S3的服务器URL，其中无需包含您的Bucket名称或所在路径。

归属权校验

说明

当填写完S3兼容存储服务投递信息后，系统会在您的Bucket日志目录中发送一个.txt后缀的令牌文件。

按照证明所有权右侧提示的路径，在您的S3兼容存储服务器的Bucket中找到该txt文件，将其中所有内容复制到所有权令牌中，点击完成。

投递至HTTP服务器

配置采集区域、接收地址等投递地址信息后，单击完成。

参数	说明
采集区域	ESA日志采集区域。
接收地址	输入您的HTTP服务器URL，必须要带有http://或https://。
压缩方式	您可以从下拉框中选择您需要压缩的格式： gzip zlib snappy no
标态鉴权	选择您的服务器是否需要加密签名。当您选择需要使用加密签名，需要完成填写： PrivateKey：填入您的隐私Key，用于计算鉴权值。 ExpiredTime：填入本次签名的过期时间。鉴权原理及示例，请参见标态鉴权说明。
自定义HTTP请求头（选填）	您最多可以添加20个自定义HTTP请求头。
自定义URL参数列表（选填）	您最多可以添加20个自定义URL参数列表。
日志格式body前缀（选填）	您可以输入自定义的日志body前缀。
日志格式body后缀（选填）	您可以输入自定义的日志body后缀。

投递至Kafka

配置采集区域、Kafka主题等投递地址信息后，单击完成。

参数	说明
采集区域	ESA日志采集区域。
Kafka主题	输入您的Kafka主题分组。
broker服务器地址	输入您的broker服务器地址。说明服务器地址支持域名、IP。通过回车键来完成单个地址输入。最多可以输入50个地址。
压缩方式	您可以从下拉框中选择您需要压缩的格式： gzip snappy lz4 zstd no
标态鉴权	选择您的服务器是否需要加密签名。当您选择需要使用加密签名，需要完成填写：鉴权方式：填写您的鉴权方式，可选择： PLAIN SCRAM-SHA-256 SCRAM-SHA-256 用户名：输入您的用户名。密码：输入您的密码。
负载均衡方式	您可以选择您需要的负载均衡方式： LeastBytes Hash RoundRobin CRC32Balancer Murmur2Balancer

注意事项

实时日志推送至SLS服务时，会产生相应的流量、存储等费用，相关费用由SLS产品收取，详情请参见日志服务（SLS）计费概述。
实时日志推送至OSS服务时，会产生相应的流量、存储等费用，相关费用由OSS产品收取，详情请参见对象存储（OSS）计费概述。
通常情况下，实时日志的时效性在5分钟内。