K近邻
暴力搜索：使用蛮力搜索，即或相当于KNN算法，需遍历所有样本数据与目标数据的距离，进而按升序排序从而选取最近的K个值，采用投票得出结果 否 自动 球树 KD树 暴力搜索 自动 测试集比例 测试模型的数据占总输入数据的比例，用于计算模型的...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
LLM-Copyright信息移除
将文本用换行符分隔，按行遍历文本是否以/、#、-注释符号开头，一旦匹配到符合条件的某行，继续统计连续的注释行，直到注释符号终止，则遍历终止。最后删除文本中的连续注释片段并返回。以上步骤均检测第一次匹配到的注释片段，即默认检测...
向量介绍
多模态能呈现文本无法表达的信息，如：颜色、形状、运动动态、声音、空间关系…… 同时各个领域信息的模态也有大幅度的变化：信息在这种多模态的场景下被分为两大类（结构化和非结构化）：非结构化的数据往往让计算机难以理解，传统的文本...
路由算法
说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...
Tair扩展数据结构概览
Tair扩展数据结构与Redis Stack模块（Modules）类型 Tair扩展数据结构 Redis Stack Server（对比项）说明 String增强 exString Redis String命令增强 无 TairString是一种带版本号的string类型数据结构，同时还在Redis String加减功能的...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
时序异常检测
算法中数据结构的空间复杂度。参数值越大算法在运行过程中越占用内存，但是算法结果越准确。lenHistoryWindow INTEGER 正整数，默认值为null，取值≥20。算法参考的时间窗口长度。如果时间窗口长度比较短，计算过程中只会将最近的数据点...
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
名词解释
计算工作组（JobGroup）计算工作组管理一个或多个计算Job，负责调用算法分析视频数据，输出结构化数据。算法（AlgoLib）平台内置或者用户自建的算法库信息。算法能力集（Capability）算法输出结构化数据的能力，如行人、非机动车等。资源...
热点行优化
减少B-tree索引的遍历 MySQL是以B-tree索引的方式管理数据的，每次执行查询时，都需要遍历索引才能定位到目标数据行，数据表越大，索引层级越多，遍历时间就越长。在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
列存索引中TopK算子的实现
重要 本文中的内存充足是指，算法中用于管理至少K条记录的数据结构可以在执行内存中缓存，而不是TopK查询的输入数据可以在执行内存中缓存。实际上本文讨论的场景，TopK查询的输入数据都是远大于执行内存的。另外，从系统设计的角度上看，...
TS
TairTS是基于Redis Module开发的时序数据结构，提供低时延、高并发的内存读写访问，及快速地过滤、聚合查询功能，集存储与计算为一体，在简化了处理时序数据流程的同时，大幅度提高了性能。TairTS简介 相比 RedisTimeSeries，TairTS提供了...
概述
迭代计算 一次迭代为一个超步（SuperStep），遍历所有非结束状态（Halted值为False）的点或者收到消息的点（处于结束状态的点收到信息会被自动唤醒），并调用其 compute(ComputeContext context,Iterable messages)方法。在您实现的 ...
B-tree并发控制优化
线程加锁范围大：为了避免死锁，乐观操作要持有遍历路径上所有节点的S锁，悲观操作要持有所有可能修改节点的X锁。线程加锁范围大，且并发越高越会加剧锁与锁之间的竞争，尤其在一些关键节点的竞争会更明显。PolarDB MySQL版 针对性地优化了...
新版Memcache如何遍历所有key
在新版本的云数据库Memcache版实例中，您可以使用阿里云自研命令MSCAN遍历所有key。命令结构 MSCAN 命令通过多轮调用、批量查询的方式来获取所有key，查询过程不会阻塞Memcache服务，对性能影响极小。命令的使用说明如下。命令结构 mscan ...
Tair小版本发布日志
以避免某些Redis管控工具遍历所有DB造成元数据膨胀。优化存在多个DB时的过期检查效率，公平地根据携带过期数据的数量下发过期任务。24.3.0.0 MEDIUM 2024-03-07 功能优化 支持在平滑扩缩容迁移变配失败时进行秒级回滚，避免因变配失败导致...
DBSCAN聚类
暴力搜索：使用蛮力搜索，需遍历所有样本数据与目标数据的距离，进而按升序排序从而选取最近的K个值，采用投票得出结果。是 自动 自动 球树 KD树 暴力搜索 聚类效果 聚类效果展示当前数据聚类处理后的效果。可在组件运行成功后查看。“CH...
JOIN优化和执行
它的原理如下：遍历外表（左表，通常是数据量较小的一边）数据，对于外表中的每批（例如1000行）数据。将这一批数据的JOIN Key拼成一个IN(.)条件，加到内表的查询中。执行内表查询，得到JOIN匹配的行。借助哈希表，为外表的每行找到匹配的...
Cpc
TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算。背景信息 在大数据实时决策场景中，通常会将业务日志流入实时计算系统完成计算，然后将计算结果存储至...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
列存索引如何实现高效数据过滤
在读取DataPack时，需要从磁盘中加载进内存并解压缩，然后遍历DataPack中的所有记录，利用过滤条件筛选出符合条件的记录。对于大表而言，这些扫描任务的代价很大，并会对LRU cache造成一定程度的污染，导致整体查询延迟升高，QPS大幅降低。...
JOIN与子查询的优化和执行
遍历外表数据，针对外表中的每一行数据，和内表做比较，构造结果行，检查是否满足JOIN条件，如果满足条件则输出。如下是一个Nested-Loop Join的例子：>EXPLAIN SELECT*FROM partsupp,supplier WHERE ps_suppkey;NlJoin(condition="ps_...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
云数据库 Memcache 版支持的数据结构？
云数据库 Memcache 版目前仅支持 Key-Value 的数据结构，暂不支持 List 等数据结构。
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
模型训练
训练时间说明 模型的训练时间受到好几方面的影响，比如所选的模型架构，设置的遍历次数，还有数据量的大小等。对于模型架构，fasttext长文本分类融合模型。遍历次数一般与训练时间成正比，也就是说 10 次的时间会是 5 次的两倍。为了节省...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
专业术语
tag TSDB For InfluxDB®数据结构中记录元数据的key-value对，tag在TSDB For InfluxDB®数据结构中是可选的。但是，用它们来存储经常被查询的元数据是非常有用的；因为数据库会对tag建索引，所以tag上的查询性能很高。查询提示：跟tag相比...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
数据智能概述
物联网数据服务提供数据智能功能，协助您更好的解读设备数据，了解设备运行状况。功能简介 算法实例 通过配置算法实例，来分析光伏电站运维数据或...后续步骤 查看算法实例运行记录，维护算法数据产出。具体操作，请参见 查看实例运行日志。
- 产品推荐
- 这些文档可能帮助您