2023/04/20 更新日志
作为分隔符，同时搜索多个关键词 店铺的搜索接口已经支持中英文的“，”和；两类符号作为分隔符，能同时搜索多个关键词，搜索结果将自动按客户选择的排序规则返回所有命中的商品。三、增加创建订单的店铺通知 新增创建订单通知事件，开启后...
JSON函数和操作符
处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较操作符遵循jsonb索引中的B树操作概要的排序规则。json 和 jsonb 操作符 json->...
案例推理-预测
支持if then和范围筛选语句，支持的比较符包括>、<、>=、、=，参数名称和关键词和比较符之间用空格分隔。多个条件之间用and/or连接。例如：if var1>20 then var2。否 None 无 案例描述相似度筛选阈值 案例描述相似度最小值。是 0.5(0,1)...
分隔符
简介 分隔符组件用于展示一条分割布局的分隔符，可以配置显示线条类型和分隔符方向。属性配置 图片组件属性由以下部分组成：分类 样式 示例 说明 样式 线条类型 此配置项规定了分隔符组件显示的线条类型，可选择显示实线或者虚线。方向 此...
全文检索
本文介绍如何通过全文索引函数 match()against()、match()fuzzy()、match()phrase()进行全文检索以及如何高亮全文检索关键词。前提条件 已创建全文索引。如何创建，请参见 创建全文索引。示例数据 本文所有示例均基于示例表tbl_fulltext_...
SplitAnalyzerParameter
表示多元索引中分词类型为分隔符分词时的可选配置。数据结构 message SplitAnalyzerParameter { optional string delimiter=1;} 名称 类型 是否必选 说明 delimiter string 否 分隔符，默认是空白字符，可以自定义分隔符。当自定义的分隔符...
分隔符
使用场景 当页面需要对不同章节的文本段落，以及对行内文字或链接进行分割时，您可以使用 分隔符 组件。使用说明 分隔符 组件包括以下两种类型：水平分隔符：对不同章节的文本段落进行分割。垂直分隔符：对行内文字或链接进行分割，例如...
Dataphin在同步任务中报错“java.lang....
2.用户设置的分隔符和源表分隔符一致，但是源表类型为TEXTFILE，某个字段为文本字段包含了分隔符，导致识别出多个分割位置。解决方案 1.修改同步任务设置的分隔符和源表的分隔符保持一致。2.源表使用ORCFILE格式建表。适用于 Dataphin
Quick BI富文本设置数据格式千位分隔符未生效
问题描述 Quick BI富文本中使用的度量值，对其数据格式设置了千位分隔符，但是预览时未生效是什么原因？问题原因 度量字段用的是文本类型，富文本中的度量设置千位分隔符需要度量为数值类型。解决方案 将富文本中使用的度量转换为数值类型...
如何在日志样例中设置不可见字符
在某些场景下，需要使用不可见字符作为日志的 分隔符 或 引用符，本文档主要介绍如何在日志样例中填写不可见字符。背景信息 如果需要保留日志的原始格式，而且日志内容中本身存在逗号（,）、分号;等字符，使用这些字符作为 分隔符 或 引用...
正则表达式入门教程
示例 示例一：匹配含有某个关键词的字符串 筛选出包含关键词 05/Jan/2023 的日志。日志样例：Info 05/Jan/2023 Warning、Info 06/Jan/2023 Error 正则表达式：.*05\/Jan\/2023.*.*表示匹配任意零个或多个字符，即 05/Jan/2023 前后可以有...
基本概念
分隔符 图片处理服务通过URL来访问处理的图片，通常需要分隔符来区分一些关键字段。重要 请勿在使用的图片文件名称中包含图片处理服务设定的分隔符，否则会导致解析出错。分隔符名称 分隔符 含义 处理分隔符@区分Object名称和处理字符串。...
页面SEO
核心关键词应较前放置，多个关键词请用英文,分隔。重要 SEO关键词将成为词条简介中的关键词，多页面重复的关键字会降低搜索引擎权重，因此建议针对每个页面的内容单独修改，以确保收录效果。设置页面描述。建议页面描述60~70字左右，重要...
页面SEO
核心关键词应较前放置，多个关键词请用英文,分隔。重要 SEO关键词将成为词条简介中的关键词，多页面重复的关键字会降低搜索引擎权重，因此建议针对每个页面的内容单独修改，以确保收录效果。设置页面描述。建议页面描述60~70字左右，重要...
LLM-长度过滤
无 是否根据样本长度过滤 否 文本分隔符：根据分隔符将文本进行拆分，并统计拆分后的列表长度，默认为空。如果为空，则不做拆分，直接统计文本的长度。分隔符需用半角双引号（""）括起来。长度最小值：文本长度小于该值将被过滤掉。长度...
STRING_SPLIT
本文为您介绍如何使用STRING_SPLIT函数，根据指定的分隔符将目标字符串拆分为子字符串，并返回子字符串列表。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持STRING_SPLIT函数。语法 string_split(string,separator)入参 参数 数据类型 ...
LLM-计数过滤
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
控制文本搜索
支持下列语法：无引号文本：不在引号中的文本将被转换成由&操作符分隔的词，就像被 plainto_tsquery 处理过那样。引号文本"：在引号中的文本将被转换成由操作符分隔的词，就像被 phraseto_tsquery 处理过那样。OR：“or”将转换为|运算符...
分隔符模式解析
Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化，解析为多个键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数 描述 原始字段 解析...
SelectObject
子节点：None 父节点：CSV（输入、输出），JSON（输出）FieldDelimiter 字符串 指定CSV列分隔符，以Base64编码。默认值为,（可选）。未编码前的值必须为一个字符，以字符的ANSI值表示，例如在Java中使用,表示逗号。子节点：None 父节点：...
表达式函数概览
str_partition 根据指定的分隔符将字符串从左往右分割为三部分。str_rpartition 根据指定的分隔符将字符串从右往左分割为三部分。str_center 用指定字符将字符串填充到指定长度。str_ljust 用指定字符将字符串从结尾填充至指定长度。str_...
配置Redis输出组件
键分隔符 写入键的分隔符，当键列大于一个时生效，如：\u0001，支持多字符分隔符。写入数据类型 请选择写入Redis的Value类型。写 入模式 请选择写入模式。是否写入JSON格式 仅支持 写入数据类型 为String类型配置。选择是，将以配置的映射...
配置Redis输出组件
键分隔符 写入键的分隔符，当键列大于一个时生效，如：\u0001，支持多字符分隔符。写入数据类型 请选择写入Redis的Value类型。写 入模式 请选择写入模式。是否写入JSON格式 仅支持 写入数据类型 为String类型配置。选择是，将以配置的映射...
列数据转KV
算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据转换为一列。可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 无 读数据...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
KeyValue函数
函数介绍 KeyValue 函数用于将字符串 str 按照分隔符 split1 切分成key-value对，并按分隔符 split2 将key-value对进行切分，结果返回key所对应的value值。语法 keyvalue(text,[text,text,]text)参数说明 参数 类型 描述 是否必选 str TEXT...
分隔符日志
本视频向您展示数据加工结构化数据分隔符日志的解析。
自定义监控概述
食品,交易,创建,7,Ｎ,…… 日志格式说明如下：以,为分隔符，将关键字段进行切分，实际语义为：日志打印时间,订单id,商品,服务名,方法名,耗时,结果。数据统计：由于监控系统面对的是海量数据，在获取结构化数据之后，需要对原始数据进行数据...
数据源插件说明
key2:value3，键为key1,key2，键分隔符为分号，键值分隔符为冒号，多值分隔符为逗号。如果配置了多值分隔符，则将转化为系统中Array类型字段内容“请确保提取出来的键值和目标表字段类型一致，否则对应的数据会丢失”，若存在2个相同的key...
MULTI_KEYVALUE
当split1的长度>1时，split1仅表示分隔符的集合，每个字符都表示一个有效的分隔符。split2 VARCHAR KV的分隔符。当split2为NULL时，表示按照空格作为KV的分割符。当split2的长度>1时，split2仅表示分隔符的集合，每个字符都表示一个有效的...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
hive输出组件配置截图：任务运行日志没有报错，如下图：hive库中查询集成的数据的字段都为空值NULL：问题原因 客户创建hive表时没有指定分隔符，管道中分割符填写不对导致。解决方案 该问题是由于选择的hive目标表创建时没有指定分隔符，...
配置Kafka输出组件
valueIndex：配置Kafka Writer中作为Value的列，例如valueIndex=[0,1,2,3]，[]内的数字代表输入组件的字段的seqnumber 写入模式为text时，默认将所有列拼起来作为Value，使用分隔符配置的分隔符进行分割，值类型只能选择BYTEARRAY或STRING...
配置Kafka输出组件
valueIndex：配置Kafka Writer中作为Value的列，例如valueIndex=[0,1,2,3]，[]内的数字代表输入组件的字段的seqnumber 写入模式为Text时，默认将所有列拼起来作为Value，使用分隔符配置的分隔符进行分割，值类型只能选择BYTEARRAY或STRING...
Fn:Join
调用内部函数Fn:Join，将一组字符串拼接起来并用特定分隔符隔开。函数声明 JSON {"Fn:Join":["delimiter",["toJoinString1","toJoinString2",.]]} YAML 完整函数名的语法。Fn:Join:delimiter-toJoinstring1-toJoinstring2-.缩写形式语法。...
KEYVALUE
本文为您介绍如何使用KEYVALUE函数，将目标字符串按照split1分隔符拆分成Key-Value（KV）对，然后按照split2分隔符将Key-Value对分开，返回Key对应的Value。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持KEYVALUE函数。语法 VARCHAR ...
数据源插件说明
key2:value3，键为key1,key2，键分隔符为分号，键值分隔符为冒号，多值分隔符为逗号。如果配置了多值分隔符，则将转化为系统中Array类型字段内容“请确保提取出来的键值和目标表字段类型一致，否则对应的数据会丢失”，若存在2个相同的key...
SSML标记语言介绍
本文为您介绍SSML（Speech ...标签内部必须是一个独立的词或短语，这个词或短语不允许混合使用中文和其他外语。语法文本属性 无。标签关系标签可以包含文本和示例南京市长江大桥今天发表了演讲。音频效果：SSML-w.mp3描述 虚拟人类标记...
PAI-TF数据转换方法
当使用空格作为分隔符时，多个连续空格将被视作一个分隔符。输出：由Index CSV序列转换而得的Sparse Tensor，Value类型为INT64。示例：将一个batch的存有Index数据的STRING转换成一个sparse tensor。输入：[“2,10”,“7”,“0,8”]需求：...
配置本地文件输入组件
字段分隔符：文件内字段分隔符，如不填写，默认为英文逗号（,）。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。高级配置 请输入读取控制配置项。示例代码如下：{"textReaderConfig":{"caseSensitive":true,"useTextQualifier":...
字符串切分成列表
1.组件介绍 说明 必要前置组件：无 利用本组件可以将字符串根据分隔符类型切分成列表 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4...
- 产品推荐
- 这些文档可能帮助您