高级预览时,日志服务真实连接Logstore,并从Logstore读取数据完成加工测试,模拟完整的数据加工流程。本文介绍高级预览的操作步骤及示例。
操作步骤
- 登录日志服务控制台。
- 进入数据加工页面。
- 在Project列表区域,单击目标Project。
- 在页签中,单击目标Logstore。
- 在查询和分析页面,单击数据加工。
- 在页面右上角,选择数据的时间范围。
选择时间范围后,请确认原始日志页签中存在日志。
- 在编辑框中,输入数据加工语句。
加工语句的语法请参见
数据加工语法。
说明 编辑框中的加工语句支持注释,您可以使用此功能逐行调试。
- 预览数据。
- 在页面右上角,单击高级。
- 单击预览数据。
- 在添加预览配置页面,配置如下参数,然后单击确定。
首次预览数据时,需配置如下参数。后续可通过单击修改预览配置,修改如下参数。
参数 | 说明 |
---|
授权方式 | 您可以通过如下方式授予数据加工任务读取源Logstore数据的权限。 |
高级参数配置 | 对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过变量${key} 进行引用。单击 +,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。  |
完成预览设置后,您可以在加工结果页签中查看预览结果。
- 如果加工语句错误或者权限配置错误,导致数据加工失败,请根据页面提示处理。
- 如果确认数据加工结果无误,可保存加工结果。具体操作,请参见创建数据加工任务。
示例
- 加工语句
# e_set("insert_field", "test_value")
e_table_map(
res_rds_mysql(
address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
username="test_username",
password="****",
database="test_db",
table="test_table",
),
"ip",
["country", "province"],
)
- 原始日志
{
"__source__": "192.0.2.0",
"__time__": 1624523917,
"__topic__": "topic",
"id": "1001",
"ip": "127.0.0.1"
}
- 高级预览设置

- 加工结果
