本文以网站访问日志为例,为您介绍完整的数据加工流程,帮助您快速熟悉数据加工功能及其操作。
前提条件
- 已创建名为web-project的Project。具体操作,请参见创建Project。
- 在Project(web-project)中创建名为website_log的源Logstore。具体操作,请参见创建Logstore。
- 已采集网站访问日志到源Logstore(website_log)。具体操作,请参见数据采集。
您也可以使用数据实验室,数据实验室已提供模拟的网站访问日志。更多信息,请参见使用数据实验室。
- 在Project(web-project)中创建目标Logstore,具体说明如下:
目标Logstore 说明 website-success 将访问成功的日志存储到存储目标target-success对应的Logstore(website-success)中。 website-fail 将访问失败的日志存储到存储目标target-fail对应的Logstore(website-fail)中。 website-etl 将其他访问日志存储到存储目标target0对应的Logstore(website-etl)中。 - 如果您使用的是RAM用户,则需要先授予RAM用户数据加工操作权限。具体操作,请参见授予RAM用户数据加工操作权限。
- 已配置源Logstore和目标Logstore的索引。具体操作,请参见配置索引。
说明 数据加工作业不依赖索引,但若不配置索引,将无法执行查询和分析操作。
背景信息
某网站将其所有的访问日志存储在一个Logstore中,现希望为访问成功的日志和访问失败的日志设置不同的日志主题,并分发到不同的Logstore中,便于分析。日志样例如下:
body_bytes_sent:1061
http_user_agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr:192.0.2.2
remote_user:vd_yw
request_method:DELETE
request_uri:/request/path-1/file-5
status:207
time_local:10/Jun/2021:19:10:59
步骤一:创建数据加工作业
将日志分发到目标Logstore后,您可以在目标Logstore中执行查询和分析操作。具体操作,请参见查询和分析日志。