Dataphin管道任务在字段计算组件中通过CURRENT_...
问题描述 Dataphin管道任务在字段计算组件中通过 CURRENT_TIMESTAMP()添加字段，同步至MaxCompute数据源发现该字段数据为空。...解决方案 客户将MaxCompute输出组件对应的字段load_time字段类型修改为TIMESTAMP类型问题解决。适用于 Dataphin
Quick BI数据库中字段类型为TimeStamp类型，SQL生成...
问题描述 Quick BI数据库中字段为timestamp类型，SQL生成数据集时，如何通过变量给该字段传递值？变量定义为Quick BI的日期类型，通过查询控件传递值之后，会使用 DATE_FORMAT()函数对字段进行转换，解析出来的SQL语句执行是null。生成数据...
Dataphin新建快照事实逻辑表快照时间字段Datetime类型...
问题描述 Dataphin新建快照事实逻辑表快照时间字段Datetime类型转TIMESTAMP类型校验不通过。问题原因 创建快照事实逻辑表会自动创建快照时间的字段且为TIMESTAMP类型，映射来源表字段时需要来源字段也为TIMESTAMP格式，否则需要转为时间戳...
Dataphin中底层计算引擎刚添加的字段wave_uptime，...
概述 Dataphin中底层计算引擎刚添加的字段wave_uptime，插入数据正常但是查询报错。SQL Failed!Error Code:DPN.Os.ColumnNotFound Error Message:Column Not Found:WAVE_UPTIME ...
地址抽取
status":"OK"} start：原文中字段起始位置 end：原文中字段结束位置 type：字段类型，LOC是指location，地址 word：识别出的实体字段 time_used：算法处理耗时 status：状态 RequestId String E0627DDE-28D7-4C00-A611-E047DF81AF05 请求...
姓名抽取
1589799959.7144244"},"status":"OK"} start：原文中字段起始位置 end：原文中字段结束位置 type：字段类型，PER是指person，姓名 word：识别出的实体字段 time_used：算法处理耗时 status：状态 RequestId String 3A9AB010-AC38-4E53-9D...
更新实时日志字段
调用UpdateDcdnUserRealTimeDeliveryField更新实时日志字段。接口说明 说明 单用户调用频率：100 次/秒。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
查询实时日志所有字段
调用DescribeDcdnRealTimeDeliveryField查询实时日志所有字段。接口说明 说明 单用户调用频率：100 次/秒。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
查询用户选择的字段列表
调用DescribeDcdnUserRealTimeDeliveryField查询用户选择的字段列表。接口说明 说明 单用户调用频率：100 次/秒。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
数据转换
查询分析配置 查询分析A的结果 查询分析B的结果 数据转换配置 数据转换结果 分类示例 查询分析A表示对数据进行聚合计算，然后按照 kind 字段和 time 字段进行分组。通过线图展示时，只能展示其中一部分数据。此时可以通过数据转换中的分类...
查询和分析JSON日志
建立索引后，可以查询 time.request_time、time.upstream_response_time 字段。body_bytes_sent 字段的值为JSON数组，不能建立索引，也不能为叶子节点建立索引。不能查询分析 body_bytes_sent 字段或 body_bytes_sent 的叶子节点。步骤二：...
过滤日志
日志2 采集 request_time 字段和 request_length 字段符合 采集日志 中的正则表达式。日志3 不采集 日志中没有符合 采集日志 中的正则表达式的字段。JSON配置方式 参数说明 配置 type 为 processor_filter_key_regex，detail 说明如下表所...
通过Data Explorer构建查询和分析语句
针对此需求，您只需组合指标统计和同环比两个场景，然后通过 request_time 字段进行分析。设置 指标统计 场景相关信息。单击 指标统计。选择 数学计算>平均值。选择 request_time 字段，并将其分析结果列命名为 avg_time。设置 同环比 场景...
事件操作函数
本文介绍事件操作函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 事件操作 e...函数格式 e_to_metric(names=None,labels=None,time_field='_time_',time_precision='s',ignore_none_names=True,ignore_none_labels=True)...
字段设置
例如，访问日志中存在 request_method 和 request_time 字段，可参考如下配置。功能特点 支持前1千万条日志统计分析。说明 在选中的查询时间段内，采样1千万条数据。如果您使用快速查询生成SQL语句，需删除 Limit 10000000 字段，才能分析...
估算函数
查询和分析语句*|SELECT approx_percentile(request_time,case when request_time,0.5)查询和分析结果 示例4：根据 request_time 与权重的乘积对 request_time 列进行排序后，返回大约处于80%和90%位置的 request_time 字段的值。...
Map映射函数和运算符
request_method 字段值为Map中的键，request_time 字段值为Map中的键值，键值为数组格式。字段样例 request_method:POST request_time:80 查询和分析语句*|SELECT multimap_agg(request_method,request_time)查询和分析结果
新闻行业通过上下架设置、场景搭建保障推荐内容时效性
示例：通过服务端SDK上报item表中的pub_time、expire_time字段。例：需要上条新闻的失效时间为5天。JSON数据：[{"cmd":"add","fields":{"item_id":"item001","item_type":"article","author":"zhangsan","pub_time":"1597308140","expire_...
创建索引
索引配置示例 日志内容中有 request_time 字段，执行字段查询语句 request_time>100。只建立全文索引，返回同时包含 request_time、>（非分词符）、100 这三个词的日志。只建立double、long类型的字段索引，返回结果是 request_time 大于...
查询语法
request_time>60 and request_method:Ge*表示查询 request_time 字段值大于 60 且 request_method 字段值以 Ge 开头的日志。addr*表示在所有日志中查找以 addr 开头的100个词，并返回包含这些词的日志。host:www.yl*表示在所有日志中查找 ...
日期时间函数
原始日志 time:2018-10-2 09:11:40 weekdayname:weekdayname 加工规则 e_set("dt_prop",dt_prop(dt_parse(v("time")),"weekdayname"))加工结果 time:2018-10-2 09:11:40 dt_prop:Tuesday 示例4：提取time字段的值的weekofyear属性值。...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"FireResult":2}]查询和分析语句*|SELECT json_array_length(Results)查询和分析结果 示例2：计算 time 字段值中JSON元素的数量。字段样例 time:["time_local","request_time","upstream_...
如何解决查询分析与流处理两种场景下的数据口径差异
事务日志是在事件发生之后基于数据库记录创建的，但业务需要定义数据中的create_time字段为日志时间），Logtail支持设置时区偏移，或者通过插件配置将日志行中的时间字段（业务时间）转换为_time_字段的值。API/SDK：使用API或SDK向日志...
比较运算符
示例 对同一行中的 request_time 字段值和 status 字段值进行对比，获取其中的最小值。字段样例 request_time:77 status:200 查询和分析语句*|SELECT LEAST(request_time,status)查询和分析结果 NULL运算符 NULL运算符用于判断 x 是否为...
CTR预估模型
id字段有效（能与应用表的item关联上）最近一天60%以上的行为数据rn字段有效（能与搜索日志request_id关联上）最近一天60%以上的行为数据bhv_time字段有效（时间戳格式正确）最近一天60%以上的行为数据bhv_time是当天的（代表上报无延迟）l...
提取日志时间
配置示例 将%Y/m/d%H:%M:%S 格式的原始时间（log_time 字段的值）解析为对应的日志时间，时区使用机器所在时区。假设时区为东八区。原始日志"log_time":"2022/01/02 12:59:59"Logtail插件处理配置 处理结果"log_time":"2022/01/02 12:59:59...
字段分析
例如，访问日志中存在 request_method 和 request_time 字段，可参考如下配置。使用限制 字段分析的数据范围，是当前查询页面的（满足时间范围和查询条件）的全部日志。当日志数目在1亿条以下时，会进行全量分析。当日志数目超过了1亿条，...
使用MongoDB存储日志数据
如：db.events.createIndex({path:1})查询某一天的所有请求：q_events=db.events.find({'time':{ '$gte':ISODate("2016-12-19T00:00:00.00Z"),'$lt':ISODate("2016-12-20T00:00:00.00Z")}})说明 通过对time字段建立索引，可加速这类查询。...
处理日期时间
原始日志#已知time字段的值的时间是洛杉矶时间 time:2019-06-04 2:41:26 SLS DSL编排 e_set("timestamp",dt_parsetimestamp(v("time"),tz="America/Los_Angeles"))e_set("Shanghai_time",dt_parse(v("timestamp"),tz="Asia/Shanghai"))加工...
字符串函数
本文介绍字符串函数的基本语法和示例。日志服务支持如下字符串函数。...示例 使用英文逗号（,）和英文冒号（:）拆分 time 字段的值，返回结果为MAP类型。字段样例 time:upstream_response_time:"80",request_time:"40"查询和分析语句 ...
MySQL一键实时同步至MaxCompute
字段：目标表在原有表结构基础上，增加 execute_time 字段用于记录源端表某个记录发生变更的时间。综合如上分析结果，最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_...
新建行为关系
例如，来源表中的time字段。说明 非E-MapReduce 5.x、亚信DP 5.3 Hadoop、AnalyticDB for PostgreSQL计算引擎，行为时间 属性的字段名称支持选择date、datetime、string、char、varchar、int、bigint、double、decimal等数据类型的字段。非...
ALB状态码说明
ALB 向后端服务器建立连接时，后端服务器建立连接超时，超时时间默认设置为5秒，您可以查看访问日志中的upstream_connect_time字段是否为5秒或者大约为5秒。建议抓包排查后端服务器响应超时的原因。后端服务器负载增大，响应请求的时间大于...
聚合函数
示例 对 request_time 字段的所有值进行按位与运算。查询和分析语句（调试）*|SELECT bitwise_and_agg(status)查询和分析结果 bitwise_or_agg函数 bitwise_or_agg函数用于返回 x 中所有值按位或运算（OR）的结果。语法 bitwise_or_agg(x)...
召回配置
默认是 sum NoUsePlayTimeField bool 否 如果不使用 play_time 字段，可以设置为 true Item2ItemTable string 是 holo 中的 i2i 表名称 向量召回（HologresVectorRecall）目前向量召回只能使用 hologres 数据源，向量数据都存在 hologres ...
日志管理概述
日志字段解析 一条消息操作日志中包含多个字段，各个字段的含义如下：字段 含义 Time 本次操作的发生时间。MessageId 消息的MessageId，标识本次操作处理的消息。QueueName 本次操作对应的队列名称。AccountId 本次操作对应队列的账号。...
脚本语法
转换后的标准格式为：{"key1":{"value":value1,"time":timestamp()},"key2":{"value":value2,"time":timestamp()} } 您也可将获取的字段数据，按照标准格式组合，自定义每个字段的 time 值。例如：{"key1":{"value":value1,"time":...
配置MaxCompute输出
实时同步写入MCompute表支持 时间自动分区 与 根据字段内容动态分区 两种分区方式 时间自动分区：根据_execute_time_字段将数据写入到对应时间分区中，详情请参见 实时同步字段格式,重要 您最少需要设置二级分区（月和年），最多支持设置五...
日志字段说明
使用的加密套件或TLS字段：ssl_cipher|ssl_protocol HTTP状态码字段：status Bot管理相关字段：scene_action|scene_id|scene_rule_id|scene_rule_type|scene_test 命中语义分析攻击相关字段：sema_hit t 客户端请求发起时间字段：time u 源...
日志字段说明
使用的加密套件或TLS字段：ssl_cipher|ssl_protocol HTTP状态码字段：status Bot管理相关字段：scene_action|scene_id|scene_rule_id|scene_rule_type|scene_test 命中语义分析攻击相关字段：sema_hit t 客户端请求发起时间字段：time u 源...
- 产品推荐
- 这些文档可能帮助您