内核版本发布记录
支持主键查询去重优化，带主键文档的写入性能提升10%。支持堆外FST，单节点支持存储最大20 TB的索引数据。1.0.2 支持查询 access.log，包括请求时间、客户端来源、请求内容等，可用于问题排查和请求分析。1.0.1 支持配置JVM熔断策略，JVM...
高性能
主键查询去重优化，带有主键文档的写入性能提升10%。详细信息，请参见 如何提升Elasticsearch master调度性能。Master调度优化，支持调度更多分片数，调度性能提升10倍 提升日志场景的写入性能：在日志场景下，海量数据的高并发写入为...
通过搜索索引查询宽表数据
查询结果如下：+-+|EXPR$0|+-+|2|+-+执行以下语句，实现数据统计去重查询。SELECT distinct(age)FROM search_table WHERE gender='M' ORDER BY user_id;查询结果如下：+-+|DISTINCT(age)|+-+|18|28|32|+-+执行以下语句，实现分组查询。...
多元索引功能
多元索引的核心功能包括任意列的查询（包括主键列和非主键列）、多字段自由组合查询、地理位置查询、全文检索、模糊查询、前缀查询、嵌套查询、去重、排序、查询数据总行数和统计聚合，请根据实际场景需要使用。多元索引部分功能可以实现与...
HLL近似去重
本文介绍 云数据库SelectDB 提供的HyperLogLog（简称 HLL）功能，帮助您进行数据去重，加速查询。概述 在实际的业务场景中，随着业务数据量的不断增加，数据去重的压力也随之增大。当数据规模达到一定程度时，采用精准去重的成本也随之增加...
多元索引介绍
查询功能：非主键列查询、全文检索、前缀查询、模糊查询、多字段自由组合查询、嵌套查询、地理位置查询 折叠（去重）排序 统计聚合 数据总行数 ComputeSplits+ParallelScan 多并发数据导出接口，支持多元索引中的查询功能，不支持排序、...
API概览
QueryUniqueDeviceStat 去重设备统计 查询app维度的去重设备统计。QueryDeviceInfo 查询设备详情 查询指定设备详细信息。QueryPushStatByApp App维度推送统计 查询app维度的推送统计。QueryPushStatByMsg 任务维度推送统计 查询消息维度的...
BITMAP精准去重
本文介绍 云数据库 SelectDB 版 提供的Bitmap去重功能，帮助您进行数据去重，加速查询。概述 云数据库 SelectDB 版 支持Bitmap类型，在Aggregate数据模型中，Bitmap类型的Value字段可以和集合的交并集聚合函数配合，实现数据的精确去重功能...
实时物化视图（Beta）
通过 rb_build_cardinality_agg 计算去重数，mv_sales_r 中 user_count 代表 userid 去重数，查询 user_count 可获得去重数。使用物化视图支持多维度聚合查询 假设定义了上述的 mv_sales 物化视图，且明细表 base_sales 中当前含有以下明细...
多元索引介绍
多元索引提供了 全匹配查询、匹配查询、短语匹配查询、精确查询、多词精确查询、前缀查询、范围查询、通配符查询、多条件组合查询、嵌套类型查询、地理距离查询、地理长方形范围查询、地理多边形范围查询、列存在性查询、折叠（去重）等...
SQL基本语法
DISTINCT：可选关键字，用于去重，保证查询结果中不会出现重复行。AS：可选关键字，用于将查询结果的列名重命名。FROM：指定要查询的表名。JOIN：可选关键字，用于连接多个表，通常需要指定连接条件。ON：指定JOIN的连接条件。WHERE：可选...
QueryUniqueDeviceStat-去重设备统计
查询app维度的去重设备统计。接口说明 说明 目前只支持返回天的数据，天维度最多支持查 31 天内数据。去重设备统计是以月为周期计数，每个月月初都会清零重新计数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
Quick BI交叉表中怎样对文本字段去重计数
概述 Quick BI交叉表中怎样对文本字段去重计数。详细信息 1.维度字段不支持去重计数。当需要去重计数的字段是维度的时候，需要将该字段在数据集编辑页转换为度量字段，或者可以新建字段，字段表达式选择需要去重计数的字段，数据类型选择...
指标计算规则
通过计算公式得出：退出率=（访问当前页面的非去重总数-来源为当前页面的非去重总数）/访问当前页面的非去重总次数。非去重 非实时 页面停留时间 页面自动埋点 通过停留时长字段得出的当前页面的总停留时长除以访问当前页面的非去重总数。...
Quick BI如何对仪表板的分组数据进行全局的去重计数
问题描述 Quick BI如何对仪表板的分组数据进行全局的去重计数？如下所示的“供应商”在品类A和B中a是重复的，导致总计值没有去重。解决方案 将“供应商”字段转换为度量字段，然后对此字段直接设置去重计数。单击设置去重计数后，点击...
Quick BI即席分析的总计计算结果显示不正确
问题原因 由于指标字段是用的去重计数后的计算字段，去重计数字段的总计是针对当前总计分组的整体原始数据，单独做的去重计数计算，例如：对T1-A2组中所有的原始数据做的去重计数，得到[T2-总计]值为5，而不是A21+A22的和6。最终的[T1-总计...
数据去重
本文介绍数据去重算子的使用方法和注意事项。用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
Semi-Join的并行加速
通过拆分Semi-Join的任务，多线程模型并行运行任务集，强化去重能力，使查询性能得到了显著的提升。在 PolarDB 8.0.2.2.7后支持对物化策略（Semi-Join Materialization）的多阶段并行查询，进一步提升了Semi-Join的查询性能，以Q20为例进行...
UpdateProductFilterConfig
调用该接口更新产品下设备上报属性消息的去重规则。调用成功后，新规则对产品下所有设备即时生效。使用说明 消息去重规则：物联网平台根据您设置的去重规则，决定是否通过您设置的规则引擎云产品流转或服务端订阅，将设备上报的属性数据...
2021年10月26日 V5.1.0产品更新预告
FAQ去重机制更新 FAQ在5.1版本支持配置去重功能，未来可依据不同业务实例的知识情况，设定不同实例是否去重，同时可切换去重/不去重的FAQ设置。此功能将在 后续 发布 FAQ导入区分答案类型 FAQ导入模板更新，支持选择纯文本导入/富文本的...
Web系统预置看板
新增设备占比：在选定时间内，触发任意事件的设备ID的去重数且设备为首日启动/触发任意事件的设备ID的去重数。新增账号数：在选定时间，触发任意事件的账号ID的去重书，且系统属性账号为首日登录。新增账号占比：在选定时间内，触发任意...
APP 系统预置看板
新增设备占比：在选定时间内，触发任意事件的设备ID的去重数且设备为首日启动/触发任意事件的设备ID的去重数。新增账号数：在选定时间，触发任意事件的账号ID的去重书，且系统属性账号为首日登录。新增账号占比：在选定时间内，触发任意...
小程序预置看板
新增设备占比：在选定时间内，触发任意事件的设备ID的去重数且设备为首日启动/触发任意事件的设备ID的去重数。新增账号数：在选定时间，触发任意事件的账号ID的去重书，且系统属性账号为首日登录。新增账号占比：在选定时间内，触发任意...
动态修改schema
全匹配查询、匹配查询、短语匹配查询、精确查询、多词精确查询、前缀查询、范围查询、通配符查询、多条件组合查询、嵌套类型查询、地理距离查询、地理长方形范围查询、地理多边形范围查询、列存在性查询、折叠（去重）、模糊查询、虚拟列 ...
任务去重
当出现不可知的结果时，例如异步调用提交任务接口超时，您可以通过提交相同ID的任务进行重试，任务去重功能可以避免任务的重复执行。本文介绍如何通过设置TaskID来实现任务去重。功能原理 函数计算 提供 TaskID 这一任务概念，该ID全局唯一...
LLM-文章内句子去重
LLM-文章内句子去重组件主要用于大语言模型（LLM）的文本数据预处理工作，对文章内的语句进行去重。使用限制 仅支持MaxCompute计算引擎。算法简介 首先根据换行符将文本进行拆分，然后对拆分后的每行文本使用。……,\\?\\?等标点符号进行...
列表去重
1.组件介绍 说明 必要前置组件：无 利用本组件可以列表去重 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 在 目标...
表引擎
虽然ReplacingMergeTree表引擎提供了主键去重的能力，但是仍然存在很多限制，因此ReplacingMergeTree表引擎更多被用于确保数据最终被去重，而无法保证查询过程中主键不重复，主要限制如下。在分布式场景下，相同主键的数据可能被分布到不同...
预发布功能介绍
设备数统计会对设备进行去重，并且只有成功查询到该版本的设备会被记录，不符合该版本条件的设备不会占用预发布允许设备数。应用版本 应用版本和系统版本不同点在于，应用版本可以有多个适配机型，因此其预发布有两种模式：不勾选总量预...
利用 API 实现资源和成本管理
查询产品概览信息 QueryProductList 查询产品详细模块信息 DescribePricingModule 查询价格 GetSubscriptionPrice/GetPayAsYouGoPrice 我们通过 QueryProductList 查询到阿里云的产品列表概览，获取到了待购买的目标产品的 ProductCode&...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
全文检索
使用匹配查询（TEXT_MATCH）或者短语匹配查询（TEXT_MATCH_PHRASE）条件作为SELECT语句中的WHERE子句，您可以查询表中匹配指定字符串的数据，实现全文检索功能。前提条件 已创建多元索引并为要匹配的列设置了分词。具体操作，请参见 创建...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表并写入...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化OTSClient。具体操作，请参见 初始化。已创建数据表并...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。场景 匹配查询一般应用于全文检索场景，可应用于Text类型。例如某一行...
匹配查询
对Text类型的列值和查询关键词会先按照设置好的分词器做切分，然后按照切分好后的词去查询。对于进行模糊分词的列，建议使用MatchPhraseQuery实现高性能的模糊查询。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表并写入...
查询计划和查询重规划
本文将为您介绍什么是查询计划，以及出现查询重规划（Replan）的原因和处理方法。查询计划器（Query Planner）MongoDB查询计划器能够根据可用的索引给每个查询选择并缓存最有效的查询计划，查询计划器工作流程如下图。查询计划器会根据候选...
单实例Shard级多副本
对于点查（Fixed Plan查询）场景，为了保证点查场景尽量能够返回结果，在点查场景下会进行查询重试，当查询超过一定时间未返回，会使用另一个Worker上的Shard再重试查询。相关参数说明 hg_experimental_query_replica_mode：指定回答查询的...
- 产品推荐
- 这些文档可能帮助您