PolarDB HTAP实时数据分析技术解密
Plan转换的方法简单，只需要遍历执行计划树，将MySQL优化后的AST转换成IMCI中以relation operator为节点的树状结构即可。在这个过程中，会做一部分额外的动作。例如，类型的隐式转换。兼顾行列混合执行的优化器 存在行存和列存两套执行引擎...
图解MySQL 8.0优化器查询转换篇
本文档介绍了优化器的...遍历这些子查询，判断是否可以增加一个额外的转换（transform_grouped_to_derived）：把隐性的GROUP BY标量子查询变成derived table。SELECT SUM(c1),(SELECT SUM(c1)FROM t3)scalar FROM t1;转换为=>SELECT derived...
列举文件
您可以通过指定参数实现多种列举功能，例如通过指定参数列举指定起始位置后的所有文件、列举指定目录下的文件和子目录、以及列举结果分页。这两个接口的主要区别如下：使用GetBucket（ListObjects）接口列举文件时，默认返回owner信息。...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
高级应用：实现复杂作业逻辑
for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。for-each节点的...
强连通分量
当colorID收敛，master进程将全局对象设置为向后遍历。向后遍历：同样包含两个子过程，启动和休眠。启动阶段，每一个ID等于colorID的顶点将其ID传递给其转置图邻居顶点，同时将自身状态设置为不活跃，后面传给该顶点的信号可忽略。在每一个...
多元索引限制
类别 名称 说明 通用限制 offset+limit 无法指定offset+limit，只能从最开始往后面遍历。limit 最大值为2000。CU 无限制。QPS 无限制。最大并发 ComputeSplits的返回值中的MaxParallel值。任务数限制 同时存在的ParallelScan任务数不能超过...
EdgeScript语法
4,5,6,7,8,9]for k,v in a { b=[0,1,2,3,4,5,6,7,8,9]for k1,v1 in b { c=[0,1,2,3,4,5,6,7,8,9]for k2,v2 in c { num=add(num,1)if and(eq(v,3),eq(v1,5),eq(v2,7)){ return true } } } } } for_func()注意事项：for循环只能用来遍历字典...
EdgeScript语法
4,5,6,7,8,9]for k,v in a { b=[0,1,2,3,4,5,6,7,8,9]for k1,v1 in b { c=[0,1,2,3,4,5,6,7,8,9]for k2,v2 in c { num=add(num,1)if and(eq(v,3),eq(v1,5),eq(v2,7)){ return true } } } } } for_func()注意事项：for循环只能用来遍历字典...
EdgeScript语法
4,5,6,7,8,9]for k,v in a { b=[0,1,2,3,4,5,6,7,8,9]for k1,v1 in b { c=[0,1,2,3,4,5,6,7,8,9]for k2,v2 in c { num=add(num,1)if and(eq(v,3),eq(v1,5),eq(v2,7)){ return true } } } } } for_func()注意事项：for循环只能用来遍历字典...
设置列索引的排序键
遍历完成后，对合并文件按段两两排序，并将排序后的数据保存在临时文件中，随后将合并文件与临时文件进行切换；重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存...
模型训练
如果您希望很快看到结果，可以先尝试用一小部分数据进行训练，把所有流程跑通后，再用全量数据进行训练。模型评估 对于分类模型的评估我们提供了精确率（Precision），召回率（Recall），F1 值。这三个值的取值范围都在 0~1 之间。简单来说...
使用Aviator函数作为过滤器的最佳实践
tags":"A,C,D,F"}],"pageNum":1 },"errCode":0,"requestId":"0bb211e016357705412263266e571e","errMsg":"success"} 示例3：调用函数后，如果API返回的数据结果（JSON格式）中字段很多，不想逐个判断字段返回值，可以用函数来遍历所有字段...
性能优化
Traverses（遍历）：通过该步骤过滤的去重后的遍历数量。Time(ms)（时间）：该步骤主动执行遍历的总时间，单位：毫秒。Dur：该步骤的耗时占总时间的百分比。说明 DMS不支持 profile()命令，建议您通过Gremlin Console连接实例后使用该命令...
ListDcdnKv-遍历Namespace的Key值
1024 Keys object[]本次遍历获取的 Key。Name string 遍历到的 Key 值。Key1 UpdateTime string Key 的更新时间。2021-12-13T07:46:03Z 示例 正常返回示例 JSON 格式 {"RequestId":"D61E4801-EAFF-4A63-AAE1-FBF6CE1CFD1C","PageSize":50,...
下载文件
第三种：递归遍历文件列表和目录中的每个文件的 download_url，在前端下载并 zip。这种方式可以下载多个文件和目录，但是占用内存较大，不适合下载较大文件或目录。Web 端下载，推荐使用第一和第二种结合的方式。单个文件用第一种，多个...
向量介绍
每一层图的检索逻辑大致相同（第0层逻辑有些差异），在第k层图遍历收敛到一个节点后，会将其作为第k-1层的入口节点并继续在第k-1层遍历。相较于第k-1层图，第k层图包含的节点更加稀疏，节点之间的距离更长，这使得第k层图游走时的步长更大...
下载文件
第三种：递归遍历文件列表和目录中的每个文件的 download_url，在前端下载并 zip。这种方式可以下载多个文件和目录，但是占用内存较大，不适合下载较大文件或目录。Web 端下载，推荐使用第一和第二种结合的方式。单个文件用第一种，多个...
SearchMedia-搜索媒体信息
接口说明 获取命中数据条数限制说明如下：方法一：分页遍历 对于命中的搜索结果，您可以通过设置分页参数“PageNo”（页码）和“PageSize”（每页显示的记录数）来逐步遍历最多 5000 条数据。如果搜索结果超出了 5000 条，为了保证有效地遍...
性能说明FAQ
原因分析 执行目录遍历操作时，如果此目录同时正在被修改（如创建、删除、重命名文件），目录遍历会由于缓存频繁失效而响应非常慢。对大目录执行目录遍历操作时，目录遍历会由于缓存淘汰而响应非常慢。解决方案 避免目录体量过大，控制单...
ScrollDomainList-翻页遍历域名列表
调用ScrollDomainList翻页遍历域名列表。接口说明 针对域名持有数量较大的用户，查询域名列表接口响应可能存在缓慢的情况，阿里云提供了翻页遍历域名列表的功能。该接口在第一次调用时，需要传入查询条件，但不要传入 scrollId，此时接口会...
热点行优化
在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位数据行，之后把更新后的数据行缓存（Row Cache）在内存中，同组的Follower加锁成功后，直接从内存中读取目标数据行，而不需要再次遍历索引。这样一来，从整体上减少...
图解MySQL 8.0优化器查询解析篇
背景和架构 通过编写程序来动态实现应用所需要的逻辑，从而在程序执行时得到我们需要的结果。数据库就是一种通过输入SQL字符串来快速获取数据的应用。当然，假设没有数据库这种系统应用，用程序如何实现呢？我们可能会发现，即使不管数据...
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
向量召回过滤优化
背景 目前向量检索中的过滤机制是在遍历到一个向量后，计算filter的结果看当前向量是否满足条件，如果不满足条件则放弃当前节点。因此遍历结束后，所有的向量都是满足过滤条件的。但因为向量检索所扫描的点数是固定的（默认扫描1%的数据）...
Steps A-G
aggregate 功能：（sideEffect）在遍历过程中，将输入objects聚合成一个list，并保存在sideEffect。备注：单步不会影响输入objects，下一个单步仍然以objects作为输入。单步生成的list是只读的，在后续遍历的任意位置可以通过 cap()取值。...
FETCH
用负绝对值获取的情况更糟：必须读到查询尾部来找到最后一行，并且接着从那里反向开始遍历。不过，回卷到查询的开始（正如 FETCH ABSOLUTE 0）是很快的。DECLARE被用来定义游标。使用 MOVE可改变游标位置而不检索数据。示例 下面的例子用...
云数据库查询优化
遍历整个集合 您应该避免使用find+Skip+Limit的查询方式来遍历整个集合，因为这种方式随着Skip数量的增长响应时间会越来越慢，还可能会造成请求超时。您可以改为使用find+RangeQuery+Limit+Sort的方式。下面的代码给出了一个示例。将数据按...
缓冲区管理
为高效推进一致性位点，PolarDB 的后台刷脏进程（bgwriter）采用先被修改的Buffer先落盘的刷脏策略，即bgwriter会从前往后遍历FlushList，逐个刷脏，一旦有脏页写入存储，一致性位点就可以向前推进。如上图所示，如果Oldest LSN为10的...
媒体库简介
媒体工作流执行实例：遍历和查询。媒体管理：增、删、改、查、搜索、维护媒体属性（标题、标签、封面、描述），以及设置媒体发布状态。媒体类目管理：增、删、改、查。业务场景 搜索媒体 在媒体库中搜索满足条件的媒体集合。搜索方式：关键...
列存索引中HashMatch算子的实现
PolarDB IMCI执行器默认用行号表示执行的中间结果，当大查询所需数据量无法完全存放于内存时则可能会引发大量随机且重复IO，从而影响执行效率。为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的...
概述
例如，它可能仅仅需要遍历一棵搜索树的几层而已。类似的方法也被用于大部分非小说书籍中：经常被读者查找的术语和概念被收集在一个字母序索引中，放在书籍的末尾。感兴趣的读者可以相对快速地扫描索引并跳到合适的页，而不需要阅读整本书来...
设备自动化测试
特殊说明如下：枚举、布尔型：依次遍历所有枚举值场景。整型、浮点、双精度型：验证对应属性的最小、最大、最小+步长等场景。说明 测试完成后，如果您修改了物模型，则需重新测试。100%语料测试（必测项）验证基于物模型的语料能否执行正确...
列存索引中TopK算子的实现
遍历完数据后，堆中的元素即为前K个最大的元素。当翻页较浅时（如上文中展示第1页），K较小，基于堆的TopK算法非常高效。然而，业务场景中也存在翻页较深的场景（下文中简称“深翻页”），例如上文中展示第10001页。该场景下的K非常大，...
DescribeDcdnWafDefaultRules-查询WAF规则默认配置
directory_traversal：目录遍历封禁。scan_tools：扫描工具封禁。waf_group Name string 规则默认名称。Default_WafGroup_Rule Status string 规则默认状态，取值如下：on：开启规则。off：关闭规则。on Config string 规则默认配置。{\...
MySQL深潜-MDL锁的实现与获取机制
因此在MDL_lock中使用整型原子变量 std:atomic m_fast_path_state 来统计该锁授予的所有unobtrusive的锁类型数量，每种unobtrusive的锁有不同的数值表示，固定的bit范围存放该锁类型累加后的结果，相当于用一个longlong类型统计了所有...
统计聚合
支持的参数如下：按照值的字典序升序排列 按照值的字典序降序排列 按照行数升序排列 按照行数降序排列 按照子统计聚合结果中值升序排列 按照子统计聚合结果中值降序排列 SubAggregation和SubGroupBy 子统计聚合，子统计聚合会根据分组内容...
服务编排设计器内节点说明
例如，对某个 list 变量内元素遍历并操作的场景，具体请参见如下代码示例：List<Structure_A>aList;for(Structure_A a:aList){ func(a);} 在遍历节点内时，A可为任意类型：基础类型、集合类型或对象类型。集合变量为 aList，条目变量则为 a...
DetachLoadBalancers-移除一个或多个负载均衡实例
您可使用 API describescalingactivities 遍历查询返回的伸缩活动 id，查看伸缩活动的执行状态。asa-bp140qd7mak8k63f*RequestId string 请求 ID。473469C7-AA6F-4DC5-B3DB-A3DC0DE3*示例 正常返回示例 JSON 格式 {"ScalingActivityId":...
自定义构建应用阶段
是否遍历子目录 用于设置在上传构建产物时，是否遍历指定目录的所有子目录。文件后缀 用于设置文件后缀，上传指定文件类型的构建产品。如设置多个后缀，用“,”分隔。是否公开 用于设置构建产物上传完成后，是否所有人可访问读取。说明 如...
- 产品推荐
- 这些文档可能帮助您