Spark对接MNS
本文介绍如何通过Spark Streaming消费消息服务MNS（Message Notification Service）中的数据，并统计每个Batch内的单词个数。Spark接入MNS 示例代码如下。val conf=new SparkConf().setAppName("Test MNS Streaming")val batchInterval=...
词频统计
词频统计是指输入一些字符串（手动输入或者从指定的文件读取），用程序来统计这些字符串中总共有多少个单词，每个单词出现的次数。单词的总数（即为Total）为不重复的单词数总和。本文为您介绍 Designer 提供的词频统计。词频指词的频率，...
日志字段详情
0 TermUnit 查询语句经过分词处理后包含的单词个数。0 Topic 日志主题。topic-1 写操作错误日志特有字段 字段 说明 示例 InFlow 原始写入数据的字节数。200 InputLines 请求写入的行数。10 NetInflow 压缩后，写入数据的字节数。100 Shard ...
自动质量检查
20 Tag Mismatch Tag标记对目前仅包括这样的XML格式标记对 原文和译文内的tag数量、名称不一致 21 Tag Error 译文中的标记对不成对的情况 22 Untranslated 漏译，即译文为空 23 Term Consistency 术语一致性检查，若原文某个单词出现在术语...
维度表
批量导入」：点击「新建维度值」按钮选择「批量导入」弹出「批量导入弹窗」，批量导入支持.xlsx 和.xls文件格式导入，单词上传属性个数不超过50000个。上传形式分为增量上传和覆盖上传两种模式。注意：第一次新建维度表，需要先保存维度表...
LLM数据处理
LLM-长度过滤-2 使用该组件根据空格将样本切分成单词列表，根据切分后的列表长度过滤样本，实际是根据单词个数过滤样本。LLM-文章相似度去重-1 使用该组件去除相似的文本。单击画布上方的运行按钮，运行工作流。工作流成功运行后，右键单击...
日志类型
0 TermUnit 查询语句经过分词处理后包含的单词个数。0 Topic 日志主题。topic-1 写操作详细日志特有字段 字段 说明 示例 InFlow 原始写入数据的字节数。200 InputLines 请求写入的行数。10 NetInflow 压缩后，写入数据的字节数。100 Shard ...
管理从集群
节点个数 系统默认为每个 集群版【推荐】的集群，创建规格相同的两个节点（一主一只读），无需选择。说明 如果主节点故障，系统会自动将只读节点切换为新的主节点，并重新生成一个只读节点，关于只读节点的更多信息，请参见 产品架构。仅当...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
ModifyBackupPolicy-修改实例备份策略
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ModifyBackupPolicy-修改实例备份策略
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ModifyBackupPolicy-修改实例备份策略
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ModifyBackupPolicy-修改实例备份策略
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ModifyBackupPolicy-修改实例备份策略
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
CString
b 长度为3，分别为"""""b"CString[]split(CString str,int limit)将字符串按照分隔符分开，通过limit限制返回的数组元素个数，当limit为0时返回结果中会忽略数组结尾为空的子串。参数：str—分隔符limit—限制返回的字符串数组中元素的个数...
TF-IDF
IDF组件的输入表，对应的参数设置如下：选择文档ID列：id 选择单词列：word 选择单词计数列：count 输出表有9列：docid、word、word_count（当前word在当前doc中出现次数）、total_word_count（当前doc中总word数）、doc_count（当前word的...
聚合函数
SELECT COUNT(/water/)FROM"h2o_feet"name:h2o_feet time count_water_level-1970-01-01T00:00:00Z15258 该查询返回measurement h2o_feet 中每个包含单词 water 的field key对应的非空field value的个数。示例四：计算指定field key对应的...
搜索增强
文本类型会进行分词处理，以便能够根据单词进行搜索和匹配。keyword 用于索引短文本，例如标签、关键字等。关键字类型不会进行分词处理，整个字段作为一个整体进行索引和匹配。integer 用于索引INT类型数字，数字类型可以用于排序、范围...
多轮对话搜索
文本类型会进行分词处理，以便能够根据单词进行搜索和匹配。keyword 用于索引短文本，例如标签、关键字等。关键字类型不会进行分词处理，整个字段作为一个整体进行索引和匹配。interger 用于索引INT类型数字，数字类型可以用于排序、范围...
数组函数和操作符
4,3]@>ARRAY[3,1,3]→t 第一个数组是否包含在第二个数组中：anyarray→boolean ARRAY[2,2,7][1,7,4,2,6]→t 数组是否有重叠，或者说数组间是否有共同的元素：anyarray&anyarray→boolean ARRAY[1,4,3]&ARRAY[2,1]→t 连接两个数组。...
日志服务SLS
同时，buckets个数应当大于等于Shard个数，否则会出现部分Shard没有数据写入的情况。说明 仅实时计算引擎VVR 6.0.5及以上版本支持该参数。flushIntervalMs 触发数据写入的时间周期。String 否 2000 单位为毫秒。writeNullProperties 是否将...
订阅者最佳实践
消费位点 每个Topic会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点MaxOffset。云消息队列 Kafka 版 Consumer会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为消费位点ConsumerOffset。剩余的未消费的...
CHAR_MATCHCOUNT
MaxCompute CHAR_MATCHCOUNT函数用于计算两个字符串之间相同字符的个数。本文为您介绍CHAR_MATCHCOUNT函数的命令格式、参数说明以及使用示例。命令格式 bigint char_matchcount(string,string)参数说明 str1、str2：必填。STRING类型，必须...
OTSStreamReader常见问题
OTSStreamReader运行时出现“配置中的源表的列个数和目的端表不一致，源表中您配置的列数是:xx大于目的端的列数是:xx”错误 问题现象 OTSStreamReader运行时出现“配置中的源表的列个数和目的端表不一致，源表中您配置的列数是:xx 大于目的...
基本概念
假如Table Group的Shard数与Worker个数不成比例关系（如上图 Table Group 1 有3个Shard，但是只有2个Worker），那么就一定会存在某个Worker比其他Worker多分配一个SE给Table Group的情况，这样在计算时，就非常容易造成Worker资源倾斜，...
UDAF和UDTF动态参数说明
因为这里给出了三个返回值，所以UDTF在调用 forward 时，必须 forward 长度为3的数组，否则会出现运行时报错。说明 这种错误无法在编译时报出，因此UDTF的调用者在SQL中设置alias个数时，必须遵循该UDTF定义的规则。由于聚合函数的返回值...
Python 3 UDTF读取MaxCompute资源示例
因为这里给出了三个返回值，所以UDTF在调用 forward 时，forward 必须是长度为3的数组，否则会出现运行时报错。说明 这种错误无法在编译时报出，因此UDTF的调用者在SQL中设置alias个数时，必须遵循该UDTF定义的规则。由于聚合函数的返回值...
URL收敛机制说明
对每个位置的单词，统计其不重复的个数（即基数），当基数超过设置阈值（默认1000）时，该位置的单词在URL中就会被收敛为*。例如以下URL，将会被收敛为/alertapi/console/v1/*/json。alertapi/console/v1/10001/json/alertapi/console/v1/...
使用云消息队列 Kafka 版时出现消息堆积
使用 云消息队列 Kafka 版 时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程 了解客户端消费流程，有助于理解消息是否堆积。一般情况下，客户端消费流程大致如下：判断消息...
LLM-计数过滤
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
指标含义与异常处理建议
如果1秒内，通过_bulk API在一个写入请求中批量写入了多个文档，则写入QPS参考该请求中批量推送的总文档个数。如果1秒内发送了多个_bulk API批量写入请求，则累加统计。集群查询QPS（Count/Second）重要 如果查询QPS流量突增，可能引起CPU...
监测数据质量
列中唯一值的个数（固定值）：检验某列中唯一值的个数是否满足预期，例如配置某列中唯一值的个数大于等于100，以保障所有数据中一定会出现100个不同的值。列中重复值的个数（固定值）：检验某列中重复的个数是否满足预期，例如配置某列中...
GBDT二分类V2
32 最多类别数 否 类别型特征最多允许的类别个数：对于一个类别型特征，所有出现的值按频率从高到低排序后，序位多于该值的类别将合并到一个桶中。该值越大，进行节点分裂时越精确，但也更容易过拟合，计算代价也越大。1024 特征数量 否 ...
使用限制
输入路数和输出路数 1024个和256个 数量限制-无 否 单个Job的输入路数不能超过1024（同一个表的一个分区算一路输入，总的不同表个数不能超过64个），单个Job的输出路数不能超过256。Counter数量 64个 数量限制-无 否 单个Job中自定义...
使用限制
单表分区数 60000个 数量限制 单表的分区个数最多为60000个。表的分区层级 6级 数量限制 在表中创建的分区层次不能超过6级。屏显 10000行 数量限制 SELECT语句屏显最多输出10000行。INSERT 目标个数 256个 数量限制 MULTI-INSERT 场景，...
查看Worker倾斜关系
如果Worker个数与Shard数分配不均，那么很容易出现Worker资源倾斜，导致负载不均，资源得不到高效利用。同时管理控制台监控指标已经透出Worker概念，为了便于判断资源倾斜等关系，Hologres从 V1.3版本开始提供系统视图hologres.hg_worker_...
OFFSET及SOFFSET子句
OFFSET子句 OFFSET表示从查询结果中的第 N 个数据点开始返回。语法 SELECT_clause[INTO_clause]FROM_clause[WHERE_clause][GROUP_BY_clause][ORDER_BY_clause]LIMIT_clause OFFSET[SLIMIT_clause]语法描述 N 表示从第 N 个数据点开始返回。...
什么是云平台配置检查
说明 建议您按照实例个数的20倍购买 云平台配置检查扫描次数，以免出现扫描次数不足需要重新扫描的情况。例如，您一共有10个云产品，每款云产品中包含15个实例，此时，建议您购买的扫描次数=10*15*20=3000次。开通完成后，您可以在 云平台...
Binlog日志服务
当拆分级别为表级时，为避免大表数据集中到少数几个流，出现数据倾斜的问题，可单独设定路由规则。如果想调整流的个数和已经生效的数据拆分级别，可以通过开通一个新的多流服务来进行替换，此时会涉及下游消费链路的一些运维调整。当拆分...
- 产品推荐
- 这些文档可能帮助您