如何调试正则表达式
在配置Logtail采集文本日志时，如果选择完整正则模式解析和采集日志，需要根据您的日志样例配置正则表达式。本文主要介绍在配置正则表达式过程中如何进行调试。重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的...
高阶使用
本文通过示例为您介绍E-MapReduce中的Flume组件，如何配置拦截器（Interceptor）、Channel选择器（Channel Selector）和Sink组逻辑处理器（Sink Processor）。拦截器 拦截器的位置在Source和Channel之间，用于修改或丢弃Event。拦截图示意...
过滤日志
表单配置方式 参数说明 配置 处理器类型 为 正则过滤日志（匹配日志字段的值），相关参数说明如下表所示。说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 ...
ValueTransferRule
使用正则表达式匹配到字符串后，将字符串转换为String、Integer或者Double类型。数据结构 message ValueTransferRule { required string regex=1;optional VariantType cast_type=2;} 名称 类型 是否必选 描述 regex string 是 正则表达式...
调用方式
您可以通过API来使用优化求解器控制台的功能，下面的内容描述如何发起API调用。请求结构 每篇 API 文档均给出了URL请求示例供您参考，我们并没有编码这些 URL 示例，您需要在发起请求前自行编码。如果你使用 SDK 来发起 API 请求，您只需要...
正则表达式函数
本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。匹配判断 regex_match 判断...
使用OSS Foreign Table进行数据湖分析
prefix 字符串 指定数据文件对应路径名的前缀，不支持正则表达式，仅是匹配前缀。如果使用prefix参数，则会选择含有这一前缀的所有OSS文件，例如：如果指定prefix=test/filename，以下文件都会被导入：test/filename test/filenamexxx test...
事件检查函数
正则匹配 e_search('content~="正则表达式"')#正则匹配。数字 e_search('count:[100,200]')#>=100 and('count:[*,200]')#('count:[200,*]')#>=200 e_search('age>=18')#>=18 e_search('age>18')#>18#使用关系运算符 e_search("abc OR xyz")...
标准直播切换至超低延时直播
由于原生浏览器WebRTC不支持视频B帧和AAC编码，H5播放自动转码将为您实现自适应的转码保障流畅播放，即：使用浏览器播放时，若推流同时含有B帧和AAC编码，则自动转码去除B帧和AAC，按照标准转码收费。使用浏览器播放时，若推流不含B帧但...
匹配条件说明
User-Agent 等于、不等于 等于多值之一、不等于任一值 包含、不包含 包含多值之一、不包含任一值 存在、不存在 内容为空 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 发起访问请求的客户端的浏览器标识、渲染...
管理本地日志的数据接入任务
您可以手动输入正则表达式，也可以根据 示例日志 自动生成正则表达式。自动生成正则表达式的方法如下：在 示例日志 中输入日志示例。单击 确定输入。在 示例日志 中选中待解析的字段，单击 生成正则。日志抽取结果 本地日志数据的抽取结果...
匹配条件字段说明
等于、不等于、等于多值之一、不等于任一值 包含、不包含、包含多值之一、不包含任一值 存在、不存在 内容为空 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 发起访问请求的客户端的浏览器标识、渲染引擎标识和...
修改和删除交付链
表达式触发：基于正则表达式来进行镜像版本的过滤，只有当符合正则表达式的镜像版本才会触发触发器。Tag触发：基于镜像版本列表来进行镜像版本的过滤，只有镜像版本在设置的镜像版本列表中才会触发触发器。删除交付链 您可以删除不再使用的...
导入Amazon S3文件
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
匹配条件说明
等于、不等于、等于多值之一、不等于任一值 包含、不包含、包含多值之一、不包含任一值 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 重要 使用该逻辑符的自定义规则为高级规则。高级规则与基础规则的计费标准...
XGBOOST二分类
使用时，数据格式如下，其中key的下标应从1开始，value应均为数值：正样本标签值填写 字段数据类型 是否编码 是否连接配置表 正样本标签值 字符类型 是 是 原值 是 否 编码值 数值类型 否 否 原值 否 是 原值 是 是 原值 是 否 编码值 参数...
模式匹配
一些例子，使用#"定界返回串：substring('foobar' from '%"o_b#"%' for '#')oob substring('foobar' from '#"o_b#"%' for '#')NULL POSIX正则表达式 正则表达式匹配操作符表列出了所有可用于 POSIX 正则表达式模式匹配的操作符。正则表达式...
过滤器
正则匹配并转换数据类型后再过滤结果 当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望过滤查询该列的某个子字段值，则可以通过正则表达式匹配并转换子字段值类型后，再使用过滤器来过滤需要的数据。例如列中存储的...
重要参数
参数 类型 说明 是否必填 target_kbps Int 编码器的输出码率。是 target_fps Int 编码器的输出帧率。是 CreatRoomParam 创建房间。作为创建房间的参数，只有该参数填写正确，才能顺利创建音视频房间。参数 说明 uid 用户 ID，唯一标识房间...
GetMediaMeta-获取多媒体文件信息
0x31637661 CodecTimeBase string 编码器每帧时长。1373627/83160000 TimeBase string 每帧时长。1/90000 Level integer 级别，可用于限制整体参数比率。40 PixelFormat string 视频的存储格式。yuv420p AudioStreams object[]音频流信息。...
常见问题
两者都是精确匹配，不支持正则。如需正则，请使用列值翻译。配置 key 出现乱码，该怎么办？现象：配置 key 出现乱码，如下图所示：出现的乱码的原因，一般情况是日志编码与服务器编码不统一。解决方案：进入 编辑 页面，基本信息 中打开...
导入OSS数据
跨行文本日志特有参数 参数 说明 正则匹配位置 设置正则表达式匹配的位置，具体说明如下：首行正则：使用正则表达式匹配一条日志的行首，未匹配部分为该条日志的一部分，直到达到最大行数。尾行正则：使用正则表达式匹配一条日志的行尾，未...
PAI端到端文字识别训练
INT 160 recognition_norm_type 否 编码器和文字行特征抽取器的Norm类型，取值包括：batch_norm group_norm STRING group_norm recognition_bn_trainable 否 编码器和文字行特征抽取器的Batch norm是否可以训练。当 norm_type 取值为 batch...
概述
原生插件 插件名称 说明 正则解析 使用正则表达式提取日志字段，并将日志解析为键值对形式。更多信息，请参见 正则解析。JSON解析 将JSON日志解析为键值对形式。更多信息，请参见 JSON解析。分隔符模式解析 将分隔符模式的日志结构化，解析...
语言简介
表达式函数 提供两百多个内置的表达式函数，以便转换事件或控制全局函数的行为，覆盖主流的数据加工需求，主要包括以下函数：事件检查函数 提供类似Lucene语法、完整的正则表达式，字符串、泛字符、数值比较、and/or/not等组合的条件过滤...
日志服务采集数据常见的错误类型
一般由于过滤器的正则表达式非法导致，请根据提示修复。INPUT_CANAL_ALARM MySQL Binlog运行异常。根据错误提示排查。在配置更新时，canal服务可能重启，服务重启的错误可以忽略。CANAL_INVALID_ALARM MySQL Binlog内部状态异常。此错误...
正则表达式检查
本文介绍正则表达式检查如何进行配置。功能介绍：检测文本内容，是否符合正则表达式配置的规则内容。配置方法：将正则表达式输入即可。在“命中”中输入期望命中的规则内容，在“排除”中输入期望过滤不命中的规则内容。其中，“命中”为必...
接口定义
H264-NALU 对接的场景下，需要反馈一些信息 给到编码器做实时调节/请求本地编码器下一帧编码关键帧 virtual void OnKeyFrameRequest(){}/实时控制编码器的一些编码参数,比如输出帧率和码率 virtual void OnEncoderQosRequest(const ...
字符串函数和操作符
substring('Thomas' from 2 for 3)→hom substring('Thomas' from 3)→omas substring('Thomas' for 2)→Th substring(string text FROM pattern text)→text 提取匹配POSIX正则表达式的子字符串。substring('Thomas' from '.$')→mas ...
表达式函数概览
正则表达式函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个...
SingleColumnValueFilter
单个条件，例如column_a>5等，适用于ConditionUpdate（条件更新）和Filter（过滤器）功能。数据结构 message SingleColumnValueFilter { required ComparatorType comparator=1;required string column_name=2;required bytes column_value...
正则表达式配置
正则表达式配置详细说明：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。常用字符：元字符 描述[]字符范围...
Canal
canal-json.database.include 选填(none)String 一个可选的正则表达式，通过正则匹配Canal记录中的database元字段，仅读取指定数据库的changelog记录。正则字符串与Java的 Pattern 兼容。canal-json.table.include 选填(none)String 一个可...
函数总览
正则表达式函数 regex_select 根据正则表达式提取符合条件的值。regex_findall 根据正则表达式获得符合条件的所有值列表。regex_match 判断是否匹配正则表达式。regex_replace 根据正则表达式替换字符串中的指定字符。regex_split 将一个...
采集主机文本日志
文件路径提取：设置为文件路径正则，则需要设置 自定义正则，用正则表达式从路径里提取一部分内容作为Topic。用于区分不同用户或实例产生的日志。自定义：自定义日志主题。高级参数 Logtail配置的部分参数需要手动输入，请参见 创建Logtail...
常见问题
浏览器支持WebRTC API，但不支持H.264编码，仅支持VP8（如部分安卓手机系统自带浏览器）。为什么Safari/iOS报错：Failed to set remote answer sdp 如果遇到如下报错：Failed to set remote answer sdp:The order of m-lines in answer ...
导入Kafka数据
提取时间正则 如果您选择的 数据格式 为 极简模式，您需要设置正则表达式提取Kafka数据中的时间。例如，数据内容为 message with time 2022-08-08 14:20:20，则您可以设置 提取时间正则 为 \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d。时间字段...
视频拼接
说明 该参数与 ab 互斥，若都不设置则按照编码器默认码率进行编码。ab int 否 音频比特率（码率）。单位为比特/秒（bps）。取值范围：1000~10000000。abopt string 否 音频码率选项。取值：0（默认值）：始终使用目标音频码率。1：拼接列表...
基础概念
StringUtil 字符串处理 RegExUtil 正则相关 JsonUtil Json格式处理 XMLUtil XML格式处理 URLUtil URL处理 EscapeUtil URL编码 TimeUtil 时间相关 DatetimeUtil 时间相关 DateFormatUtil 时间相关 CollectionUtil 处理集合相关工具类 ...
数据结构
decodeFps unsigned int 编码器输出帧率。renderFps unsigned int 渲染器输出帧率。frozenTimes unsigned int 卡顿次数。AliEngineLocalAudioStats 本地音频统计信息。参数 类型 描述 track AliEngineAudioTrack 音频流类型。scene ...
- 产品推荐
- 这些文档可能帮助您