列表去重
1.组件介绍 说明 必要前置组件：无 利用本组件可以列表去重 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 在 目标...
功能发布记录
Node.js SDK多元索引新增统计聚合、并发导出数据、更新多元索引信息、折叠（去重）等功能。2022-08-16 华东1（杭州）、华东1 金融云、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国（香港）、新加坡、澳大利亚...
API概览
DescribeDistinctReleases 获取去重的版本列表 获取去重后的剧本发布的版本信息列表。DescribeComponentPlaybook 获取预定义组件列表 用于获取用户可以使用的预定义组件列表。DescribeComponentList 获取组件列表 用于获取用户可使用的普通...
多元索引功能
多元索引的核心功能包括任意列的查询（包括主键列和非主键列）、多字段自由组合查询、地理位置查询、全文检索、模糊查询、前缀查询、嵌套查询、去重、排序、查询数据总行数和统计聚合，请根据实际场景需要使用。多元索引部分功能可以实现与...
使用限制
无 消息去重 数据流转时，为确保消息送达，同一条消息可能重复发送，直到客户端返回ACK或消息过期。同一条消息的消息ID相同，您可根据消息ID去重。无 云产品流转（新版）云产品流转（新版）消息相关的限制与 云产品流转（旧版）中消息相关...
Quick BI交叉表中怎样对文本字段去重计数
概述 Quick BI交叉表中怎样对文本字段去重计数。详细信息 1.维度字段不支持去重计数。当需要去重计数的字段是维度的时候，需要将该字段在数据集编辑页转换为度量字段，或者可以新建字段，字段表达式选择需要去重计数的字段，数据类型选择...
指标计算规则
通过计算公式得出：退出率=（访问当前页面的非去重总数-来源为当前页面的非去重总数）/访问当前页面的非去重总次数。非去重 非实时 页面停留时间 页面自动埋点 通过停留时长字段得出的当前页面的总停留时长除以访问当前页面的非去重总数。...
Quick BI如何对仪表板的分组数据进行全局的去重计数
问题描述 Quick BI如何对仪表板的分组数据进行全局的去重计数？如下所示的“供应商”在品类A和B中a是重复的，导致总计值没有去重。解决方案 将“供应商”字段转换为度量字段，然后对此字段直接设置去重计数。单击设置去重计数后，点击...
Quick BI即席分析的总计计算结果显示不正确
问题原因 由于指标字段是用的去重计数后的计算字段，去重计数字段的总计是针对当前总计分组的整体原始数据，单独做的去重计数计算，例如：对T1-A2组中所有的原始数据做的去重计数，得到[T2-总计]值为5，而不是A21+A22的和6。最终的[T1-总计...
数据去重
本文介绍数据去重算子的使用方法和注意事项。用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
DQL操作
目录 Select Join Join-Cross Join Join-内连接 Inner Join Join-外连接 Outer Join Join-自连接 Join-左半连接 Join-不等值连接 Map Join 去重Union 不去重Uion ALL 去重 INTERSECT 不去重 INTERSECT ALL 去重 EXCEPT 不去重 EXCEPT 说明 ...
移动推送的审计事件
QueryUniqueDeviceStat 统计去重后的设备状态信息。RemoveTag 删除标签。UnbindAlias 解绑别名。UnbindPhone 解绑手机号码。UnbindTag 解绑标签。AllocateSmsRole 无 CheckSmsRole 无 ConfigSmsProfile 无 GdprCheckResource 无 ...
UpdateProductFilterConfig
调用该接口更新产品下设备上报属性消息的去重规则。调用成功后，新规则对产品下所有设备即时生效。使用说明 消息去重规则：物联网平台根据您设置的去重规则，决定是否通过您设置的规则引擎云产品流转或服务端订阅，将设备上报的属性数据...
折叠（去重）
折叠功能可以在大部分场景下实现去重（Distinct）功能，相当于按照折叠列做去重，但是只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列，且只能返回排序后的前50000个结果。注意事项 折叠功能只能使用offset+limit方式翻页...
2021年10月26日 V5.1.0产品更新预告
FAQ去重机制更新 FAQ在5.1版本支持配置去重功能，未来可依据不同业务实例的知识情况，设定不同实例是否去重，同时可切换去重/不去重的FAQ设置。此功能将在 后续 发布 FAQ导入区分答案类型 FAQ导入模板更新，支持选择纯文本导入/富文本的...
QueryUniqueDeviceStat-去重设备统计
查询app维度的去重设备统计。接口说明 说明 目前只支持返回天的数据，天维度最多支持查 31 天内数据。去重设备统计是以月为周期计数，每个月月初都会清零重新计数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
任务去重
当出现不可知的结果时，例如异步调用提交任务接口超时，您可以通过提交相同ID的任务进行重试，任务去重功能可以避免任务的重复执行。本文介绍如何通过设置TaskID来实现任务去重。功能原理 函数计算 提供 TaskID 这一任务概念，该ID全局唯一...
LLM-文章内句子去重
LLM-文章内句子去重组件主要用于大语言模型（LLM）的文本数据预处理工作，对文章内的语句进行去重。使用限制 仅支持MaxCompute计算引擎。算法简介 首先根据换行符将文本进行拆分，然后对拆分后的每行文本使用。……,\\?\\?等标点符号进行...
过滤
过滤条件支持逻辑运行及多重嵌套，且支持表达式配置。输出字段 输出的字段默认继承上个节点的输出，在经过这个算子之后，可以配置需要输出到下个节点的字段。输出的字段可以设置别名和代码别名，之后的节点就会使用别名和代码别名。结果...
JSON_TUPLE
id|item0|item1|+-+-+-+|1|[1,2]|[1,2,[3,2,6]]|+-+-+-+示例5：支持解析包含多重嵌套数组的JSON数据。命令示例如下。select sc.Id,q.item0,q.item1 from school sc lateral view json_tuple(sc.json,"Class1.Student[0].scoreRankIn3Year[2...
API插件管理
由于大模型会根据出参的定义，再结合用户的问题，对api返回的结果进行筛选、重新组合，作为最终的答案返回给用户，所以出参与入参一样，也需要尽可能精简和描述准确，嵌套的层级也尽可能少，详见 如何定义好插件的出参。测试API插件 平台为...
列出多元索引列表
查询数据时支持使用 排序和翻页、折叠（去重）等功能实现数据排序和数据去重。您也可以组合多种条件查询数据，具体操作，请参见 多条件组合查询。如果要使用某个多元索引统计和分析数据，您可以使用统计聚合功能实现最值、求和、求平均值、...
多元索引介绍
查询功能：非主键列查询、全文检索、前缀查询、列存在性查询、模糊查询、多条件组合查询、嵌套查询、地理位置查询 折叠（去重）排序 统计聚合 数据总行数 ParallelScan 多并发数据导出接口，只包括所有的查询功能，舍弃了排序、统计聚合等...
多元索引介绍
查询功能：非主键列查询、全文检索、前缀查询、模糊查询、多字段自由组合查询、嵌套查询、地理位置查询 折叠（去重）排序 统计聚合 数据总行数 ComputeSplits+ParallelScan 多并发数据导出接口，支持多元索引中的查询功能，不支持排序、...
Elasticsearch数据源
属性[]场景四：数组属性去重归并 多属性合一，将多个属性合并为一个属性。属性1,属性2 场景五：多属性合一同步 多属性选择处理。属性1|属性2 场景六：多属性选择同步 数据同步任务开发 Elasticsearch数据同步任务的配置入口和通用配置流程...
字段和操作符的支持列表
类似于SQL中的avg）、sum（求和）、count（计数）、distinct（去重统计行数，类似于SQL中的count(distinct)，去重统计行数的计算结果是个近似值，当去重统计行数小于1万时，计算结果接近精确值，当去重统计行数达到1亿时，计算结果的误差为...
通过SDK使用多元索引
当通过Search接口查询数据时，如果要按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，您可以使用折叠（去重）功能来实现。具体操作，请参见 折叠（去重）。如果要进行全文检索，您可以对可分词类型的字段进行分词后再...
创建多元索引
当通过Search接口查询数据时，如果要按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，您可以使用折叠（去重）功能来实现。具体操作，请参见 折叠（去重）。如果希望清理多元索引中的历史数据或者希望延长数据保存时间...
动态修改schema
如果要实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等数据分析需求，您可以...
DoMetaQuery
取值范围如下：min：最小值 max：最大值 average：平均数 sum：求和 count：计数 distinct：去重统计 group：分组计数 父节点：Aggregation 响应头 此接口仅涉及公共响应头。更多信息，请参见 公共响应头（Common Response Headers）。响应...
宽表模型介绍
使用多元索引统计聚合可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等...
DescribeDistinctReleases-获取去重的版本列表
获取去重后的剧本发布的版本信息列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
SELECT
COUNT DISTINCT子句 命令简介 COUNT DISTINCT 支持计算去重之后的某一个column的个数，对于该列中出现多次的值只会被计算一次，和COUNT的计算类似，如果该列包含NULL值，它将不会计算在内。语法说明 精确计算的语法示例如下：SELECT c1,...
现代IM系统中的消息系统—实现
消息体中含有发送人、消息ID（消息去重）、消息发送时间、消息体内容、消息类型（消息类型包含图片、文件、普通文本等，本文仅适用普通文本）。如上图所示，当用户单击某一个会话时，窗口会展示相应会话的最新一页消息。图中的消息均从存储...
表表达式
如果用这些形式中的任何一种给一个 JOIN 子句的输出附加了一个别名，那么该别名就在 JOIN 的作用下隐去了其原始的名字。例如：SELECT a.*FROM my_table AS a JOIN your_table AS b ON.是合法 SQL，但是：SELECT a.*FROM(my_table AS a JOIN...
表表达式
如果用这些形式中的任何一种给一个 JOIN 子句的输出附加了一个别名，那么该别名就在 JOIN 的作用下隐去了其原始的名字。例如：SELECT a.*FROM my_table AS a JOIN your_table AS b ON.是合法 SQL，但是：SELECT a.*FROM(my_table AS a JOIN...
消息队列Kafka
field2 key.fields-prefix 为所有Kafka消息key部分指定自定义前缀，以避免与消息value部分格式字段重名。String 否 无 该配置项仅用于源表和结果表的列名区分，解析和生成Kafka消息key部分时，该前缀会被移除。说明 使用该配置时，value....
管理Kafka JSON Catalog
timestamp-format.standard String 解析JSON格式消息中Timestamp类型字段的格式，首先尝试通过您配置的格式去解析，解析失败后再自动尝试使用其他格式解析。否 可配置的值有以下两种：SQL（默认值）ISO-8601 infer-schema.flatten-nested-...
前缀列表
取值：是：指定前缀列表中的网段均为黑洞路由，所有去往前缀列表中网段的流量均会被丢弃。否：指定前缀列表中的网段均不为黑洞路由，需要您为网段设置下一跳连接。一个前缀列表下所有网段的下一跳相同。下一跳连接 选择下一跳连接。企业版...
两表并集
本文介绍两表并集算子的使用方法及注意事项。...去重合并 两表并集算子默认不做去重合并，输出的数据包含来源节点的所有记录。勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 合并条件 中的示意图。
- 产品推荐
- 这些文档可能帮助您