表达式函数概览
str_count 统计字符串里某个字符出现的次数。str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断字符串是否以指定字符...
函数总览
str_count 统计字符串里某个字符出现的次数。str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断字符串是否以指定字符...
字符串函数
查找判断 str_count 统计字符串里某个字符出现的次数。str_find 判断原字符串中是否包含指定的子字符串。str_rfind 查找字符串中指定字符或者字符串最后一次出现的位置。str_endswith 判断字符串是否以指定后缀结尾。str_startswith 判断...
LLM-特殊字符占比过滤（DLC）
支持的 计算资源 DLC 算法说明 遍历文本中的每个字符，并统计特殊字符个数占文本总长度的比例。默认特殊字符包括：标点符号（string.punctuation）、数字（string.digits）、空格符号（string.whitespace）、emoji表情包以及一些特殊字符。...
LLM-特殊字符占比过滤（MaxCompute）
算法简介 遍历文本中的每个字符，并统计特殊字符个数占文本总长度的比例。默认特殊字符包括：标点符号（string.punctuation）、数字（string.digits）、空格符号（string.whitespace）、emoji表情包以及一些特殊字符。可视化配置参数 您...
词频统计
词频统计是指输入一些字符串（手动输入或者从指定的文件读取），用程序来统计这些字符串中总共有多少个单词，每个单词出现的次数。单词的总数（即为Total）为不重复的单词数总和。本文为您介绍 Designer 提供的词频统计。词频指词的频率，...
查看数据探查报告及探查记录
若字段类型为 文本型：为您统计该字段已选记录的最大字符长度、最小字符长度、平均字符长度、Null值记录数、唯一值记录数。若字段类型为 日期时间型：为您统计该字段已选记录的最大值（Max）、最小值（Min）、Null值记录数、唯一值记录数。...
查看数据探查报告及探查记录
若字段类型为 文本型：为您统计该字段已选记录的最大字符长度、最小字符长度、平均字符长度、Null值记录数、唯一值记录数。若字段类型为 日期时间型：为您统计该字段已选记录的最大值（Max）、最小值（Min）、Null值记录数、唯一值记录数。...
新建数据探查任务
文本型：统计该字段已选记录的最大字符长度、最小字符长度、平均字符长度、Null值记录数、唯一值记录数。说明 不同计算引擎的字段类型 char 的长度函数（length）定义不同。当计算引擎为星环TDH 6.x时，char的长度（length）获取的是该字段...
新建数据探查任务
文本型：统计该字段已选记录的最大字符长度、最小字符长度、平均字符长度、Null值记录数、唯一值记录数。说明 不同计算引擎的字段类型 char 的长度函数（length）定义不同。当计算引擎为星环TDH 6.x时，char的长度（length）获取的是该字段...
新增附加列
整数 cast_string_to_long(`col`)数字转字符串 cast_long_to_string(value)value：整数 字符串 cast_long_to_string(`col`)字符串统计 str_count(str,pattern)str：字符串列或字符串常量 pattern：要查找的子串 子串出现的次数 str_count(`...
在DTS迁移或同步任务中配置ETL
op_add(str_1,str_2,.,str_n)str_1:字符串 str_2:字符串.str_n:字符串 拼接后的字符串 op_add(`col`,'hangzhou','dts')字符串格式化，字符串拼接 str_format(format,value1,value2,value3,.)format：字符串类型，以大括号作为占位符，如...
基本概念
字符串函数 字符串函数 用于处理字符串，包括字符串拼接、子串截取、字符串替换、字符串大小写转换等。常见的字符串函数有：SUBSTRING、CONCAT、REPLACE、UPPER、LOWER等。数学函数 数学函数 用于数字运算，常见的数学函数包括：ABS、CELL...
扫描防护
URI 指定查询字符串：统计包含指定参数的攻击请求的频率。检测时间范围（秒）设置检测HTTP请求的时间范围。取值范围：5~1800。单位：秒。基础防护规则触发（次）在 检测时间范围 内，设置允许单个统计对象触发当前防护对象下基础防护规则的...
pg_bigm
实现原理：统计两个字符串共有的2-gram元素。相似度范围是[0,1]，0代表两个字符串完全不一样，1代表两个字符串一样。说明 由于计算2-gram时，会在字符串前后添加空格，于是 ABC 和 B 的相似度为0，ABC 和 A 的相似度为0.25。bigm_...
pg_bigm
实现原理：统计两个字符串共有的2-gram元素。相似度范围是[0,1]，0代表两个字符串完全不一样，1代表两个字符串一样。说明 由于计算2-gram时，会在字符串前后添加空格，于是 ABC 和 B 的相似度为0，ABC 和 A 的相似度为0.25。bigm_...
pg_bigm
实现原理：统计两个字符串共有的2-gram元素。相似度范围是[0,1]，0代表两个字符串完全不一样，1代表两个字符串一样。说明 由于计算2-gram时，会在字符串前后添加空格，于是 ABC 和 B 的相似度为0，ABC 和 A 的相似度为0.25。bigm_...
pg_bigm
实现原理：统计两个字符串共有的2-gram元素。相似度范围是[0,1]，0代表两个字符串完全不一样，1代表两个字符串一样。说明 由于计算2-gram时，会在字符串前后添加空格，于是 ABC 和 B 的相似度为0，ABC 和 A 的相似度为0.25。bigm_...
模糊查询（pg_bigm）
实现原理：统计两个字符串共有的2-gram元素。相似度范围是[0,1]，0代表两个字符串完全不一样，1代表两个字符串一样。说明 由于计算2-gram时，会在字符串前后添加空格，于是 ABC 和 B 的相似度为0，ABC 和 A 的相似度为0.25。bigm_...
比较运算符
比较运算符用于判断参数的大小关系，适用...查询和分析语句*|select status IS NULL 查询和分析结果 示例2：统计 status 字段值不为空的日志条数。查询和分析语句*|SELECT count(*)AS count FROM log WHERE status IS NOT NULL 查询和分析结果
OSS挂载
OSS 上的容量近似无限，所以操作系统统计的当前磁盘利用率并没有意义，并不代表当前OSS 上存储空间的使用状况。同时刻支持挂载同一个账号下多个 bucket 中的内容到虚拟机不同的位置。同时刻不支持挂载多个账号下的内容到虚拟机。
LLM-计数过滤（MaxCompute）
算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符的个数，根据阈值过滤样本。或者根据字符个数占总文本长度的比例过滤样本。如果指定文本分隔符，则根据分隔符拆分文本，并以单词为单位进行统计。...
LLM-计数过滤（DLC）
如果选中，需配置以下参数：数字和字母字符比例最小值 数字和字母字符比例最大值 未选中 是否根据字母字符占文本token比例过滤 否 统计文本中的所有字母字符个数，并使用pythia-6.9b-deduped模型将文本切分为token，计算字母个数和token...
ST_SummaryStats
statsOptions 统计值选项JSON字符串。statsOptions 用于指定统计参数，参数如下：参数名称 描述 类型 格式 默认值 说明 approx 是否使用采样方式计算统计值。boolean 无 true true：采样计算统计值，结果可能会不精确。false：计算所有统计...
ST_SummaryStats
statsOptions 统计值选项JSON字符串。statsOptions 用于指定统计参数，参数如下：参数名称 描述 类型 格式 默认值 说明 approx 是否使用采样方式计算统计值。boolean 无 true true：采样计算统计值，结果可能会不精确。false：计算所有统计...
ST_SummaryStats
statsOptions 统计值选项JSON字符串。statsOptions 用于指定统计参数，参数如下：参数名称 描述 类型 格式 默认值 说明 approx 是否使用采样方式计算统计值。boolean 无 true true：采样计算统计值，结果可能会不精确。false：计算所有统计...
ST_SummaryStats
statsOptions 统计值选项JSON字符串。statsOptions 用于指定统计参数，参数如下：参数名称 描述 类型 格式 默认值 说明 approx 是否使用采样方式计算统计值。boolean 无 true true：采样计算统计值，结果可能会不精确。false：计算所有统计...
新建统计周期
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。完成计算引擎类型设置，详情请参见 设置Dataphin实例的计算引擎...
新建统计周期
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。完成计算引擎类型设置，详情请参见 设置计算引擎为Hadoop 设置Dataphin...
优化查询
第二条语句先把时间戳转化成字符串格式（例如2021-12-12 00:00:00），然后对这个字符串列进行分组统计。第一条语句对时间整点值进行计算，并且通过分组统计后再将时间戳转化为字符串格式。基于多列进行分组统计时，把字典大的字段放在前面...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
电子表格支持函数说明
统计函数 函数名称 函数说明 AVEDEV 计算数据与数据集均值之间的偏差大小的平均值。AVERAGE 返回数据集的算术平均值，对文本忽略不计。AVERAGEA 返回数据集的算术平均值。AVERAGEIF 根据条件返回范围的平均值。AVERAGEIFS 根据多项条件返回...
通过表单加工创建离线视图
统计函数：根据统计字段类型支持不同统计函数。长整型：计数（count）、取和（sum）、取最大值（max）、取最小值（min）。字符串：计数（count）、取最大值（max）、取最小值（min）。时间窗口：支持前1天、前7天、前15天、前30天及自定义...
告警监控规则数据结构
参考数据 告警严重度 告警严重度 取值 Critical（严重）10 High（高）8 Medium（中）6 Low（低）4 Report（报告）2 查询统计的时间范围 timeSpanType start end 说明 Custom-15m absolute 整点15分钟。Custom-100s-20s 相对时间，100秒前到...
字符串函数
本文介绍字符串函数的基本语法和示例。日志服务支持如下字符串函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列名。例如：'status' 表示字符串status，...
质量规则参数配置
单表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较字段：选择物理表中需要比较的字段。...
质量规则参数配置
单表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较字段：选择物理表中需要比较的字段。...
CreateService-创建分应用统计服务
创建分应用统计服务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
UpdateServiceAttribute-修改分应用统计服务
修改分应用统计服务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
ListService-查询分应用统计服务
查询分应用统计服务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
- 产品推荐
- 这些文档可能帮助您