区域翻牌器（v3.0以下版本）
说明 该配置项为一个数组，可配置多个系列，编辑器将遍历数据，使数据通过一个或多个系列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。系列名：数据系列的命名，可自定义。为空时，系统会将组件数据中的 s ...
轮播列表
说明 该配置项为一个数组，可配置多个自定义列，编辑器会遍历数据，使数据通过一个或多个自定义列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。参数 说明 列字段名 自定义列所对应的字段名，需要与数据中的 ...
区域翻牌器（v3.0及以上版本）
说明 该配置项为一个数组，可配置多个系列，编辑器将遍历数据，使数据通过一个或多个系列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。系列名：数据系列的命名，可自定义。字段为空时，系统会将组件数据中的 ...
轮播列表
说明 该配置项为一个数组，可配置多个自定义列，编辑器会遍历数据，使数据通过一个或多个自定义列配置循环渲染。若需要自定义某些数据为特定样式，则需要手动对数据进行排序。参数 说明 列字段名 自定义列所对应的字段名，需要与数据中的...
基本折线图（v3.0以下版本）
说明 该配置项为一个数组，可配置多个系列，编辑器将遍历数据，使数据通过一个或多个系列配置循环渲染。若需要自定义某些数据为特定样式则需要手动对数据进行排序。系列名：数据系列的命名，可自定义。为空时，系统会将组件数据中的 s 字段...
JOIN优化和执行
它的原理如下：遍历外表（左表，通常是数据量较小的一边）数据，对于外表中的每批（例如1000行）数据。将这一批数据的JOIN Key拼成一个IN(.)条件，加到内表的查询中。执行内表查询，得到JOIN匹配的行。借助哈希表，为外表的每行找到匹配的...
配置for-each节点
说明 在运维中心执行任务时，选择 补数据 功能，并同时选中执行赋值节点与遍历节点，单独运行遍历节点将无法获取到赋值节点传递的值。创建和配置业务流程 您需要创建一个上游为赋值节点，下游为for-each节点的业务流程：进入数据开发页面。...
告警规则指标说明
指标维度 节点机IP，筛选条件如下：遍历：遍历每个节点机IP，针对每台节点机的指标数据单独进行监控告警。指定筛选固定的几台节点机进行监控告警。示例：=172.20.XX.XX。无维度：汇总所有节点机的指标数据，针对所有节点机的指标数据进行...
热点行优化
减少B-tree索引的遍历 MySQL是以B-tree索引的方式管理数据的，每次执行查询时，都需要遍历索引才能定位到目标数据行，数据表越大，索引层级越多，遍历时间就越长。在前面提到的对更新操作进行分组的机制中，只有每组的Leader遍历索引定位...
如何清理孤立文档
shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取该数据库实例的所有集合名称 var collectionNames=dbInstance....
云数据库Redis实例间单向数据迁移
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。为保障数据一致性，请勿在迁移期间对源实例写入新的数据。目标已存在表的处理模式 预检查并报错拦截（默认）：检查目标库中是否存在数据（Key）。若存在，则在预检查阶段...
使用DTS迁移Redis
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。为保障数据一致性，请勿在迁移期间对源实例写入新的数据。目标已存在表的处理模式 预检查并报错拦截（默认）：检查目标库中是否存在数据（Key）。若存在，则在预检查阶段...
功能概览
否则，返回输入 repeat 循环遍历 unoin 合并子遍历的结果 修饰符 as 打标 by 为其他单步提供参数 emit 记录循环的中间结果 indexQuery[*]倒排查询 option 指定分支查询的条件 times 指定循环遍历的次数 until 指定循环遍历的终止条件 ...
从自建Redis迁移至阿里云Redis
全量迁移：使用SCAN命令遍历整个源端，将遍历到的数据写入到目标端。迁移期间会对源端性能有一定影响，且无法保证数据一致性。全量迁移+增量迁移：使用Redis原生同步逻辑，以内存快照方式将数据写入到目标端，实现源库不停机的迁移。重要 ...
云数据库MongoDB版（分片集群架构）同步至云数据库...
shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取该数据库实例的所有集合名称 var collectionNames=dbInstance....
云数据库MongoDB版（分片集群架构）同步至云数据库...
shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取该数据库实例的所有集合名称 var collectionNames=dbInstance....
WAF目录遍历误拦截
问题描述 WAF报目录遍历误拦截。解决方案 目录遍历防护，如果出现误拦截，客户端IP在指定的 检测时间范围 内发起的 请求总次数超过 指定数量 且404响应码占比超过 指定比例。自动封禁在短时间内发起多次目录遍历攻击的客户端IP。如果用户...
模型训练
训练时间说明 模型的训练时间受到好几方面的影响，比如所选的模型架构，设置的遍历次数，还有数据量的大小等。对于模型架构，fasttext长文本分类融合模型。遍历次数一般与训练时间成正比，也就是说 10 次的时间会是 5 次的两倍。为了节省...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
统计信息收集
优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件对数据表进行点查，如果统计信息失效，那么优化器可能不会使用索引对数据表进行查询，而是使用遍历的方式对数据表进行查询...
路由算法
说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由路由字段+算法组成。使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应...
内核版本
Gremlin Gremlin是Apache TinkerPop框架下的图查询语言，使用Gremlin可以很方便地对图数据进行查询、修改、遍历和过滤等操作。GDB Gremlin内核版本高度兼容TinkerPop Gremlin查询语言，性能较为优秀。可以高度兼容HugeGraph、JanusGraph、...
for-each节点逻辑原理介绍
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文为您介绍for-each节点的组成与应用逻辑。使用说明 您可通过以下内容了解遍历...
数据组织优化
由于每次执行至少需要读写一遍数据，将会消耗计算和I/O资源，存在一定的读写放大问题，当前MaxCompute引擎能够根据系统状态自动触发执行，以确保Clustering服务的高效执行。Clustering服务针对大量文件导致的读写效率问题提供了优化解决...
设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
Tair集群无感扩缩容
社区版Redis集群常见扩缩容方案与不足 社区版Redis集群弹性扩缩容 社区版Redis集群通过Gossip协议传递数据，以槽（Slot）为数据的最小集合，并以遍历（并迁移）Key的方式迁移单个Slot。但该方案存在如下问题：稳定性较差 数据按Key迁移，...
Tair集群无感扩缩容介绍
社区版Redis集群常见扩缩容方案与不足 社区版Redis集群弹性扩缩容 社区版Redis集群通过Gossip协议传递数据，以槽（Slot）为数据的最小集合，并以遍历（并迁移）Key的方式迁移单个Slot。但该方案存在如下问题：稳定性较差 数据按Key迁移，...
新版Memcache如何遍历所有key
在新版本的云数据库Memcache版实例中，您可以使用阿里云自研命令MSCAN遍历所有key。命令结构 MSCAN 命令通过多轮调用、批量查询的方式来获取所有key，查询过程不会阻塞Memcache服务，对性能影响极小。命令的使用说明如下。命令结构 mscan ...
磁盘空间诊断
查询数据空间 查询数据空间包括以下内容：数据库 通过PG客户端执行 \l，可以查看每个数据库的空间占用情况注意该操作需要遍历目录树，会有较高的CPU和IO开销。表 对于占用空间较大的数据库，可以通过客户端连接到该数据库，执行 \d 查看该...
磁盘空间诊断
查询数据空间 查询数据空间包括以下内容：数据库 通过PG客户端执行 \l，可以查看每个数据库的空间占用情况注意该操作需要遍历目录树，会有较高的CPU和IO开销。表 对于占用空间较大的数据库，可以通过客户端连接到该数据库，执行 \d 查看该...
专业术语
数据库不会对field value建索引，如果将field value作为查询过滤条件的话，就必须遍历所选时间范围内的所有数据点，所以，这种方式的查询性能并不好。查询提示：跟field value相比，数据库会对tag value建索引。相关术语：field，field key...
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
SQL闪回
原始SQL 顺序 遍历Binlog中的匹配事件，对INSERT、UPDATE、DELETE事件进行全记录的镜像构造处理，生成的SQL。INSERT镜像等价于INSERT。DELETE镜像等价于INSERT。UPDATE镜像等价于INSERT变更前的值。使用方式：在 临时表 执行，写入误操作前...
如何高效扫描数据
通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_NAME|+-+-+-+|0|DRDS_00_RDS|DRDS_USERS|1|DRDS_01_RDS|DRDS_USERS|+-+-+-+2 rows in set(0.06 sec...
SQL闪回
原始SQL 顺序 遍历BINLOG中的匹配事件，对INSERT、UPDATE、DELETE事件进行全记录的镜像构造处理，生成的SQL。INSERT镜像等价于INSERT。DELETE镜像等价于INSERT。UPDATE镜像等价于INSERT变更前的值。使用方式：在 临时表 执行，写入误操作前...
DataWorks节点合集
例如：用于循环执行代码的do-while节点，与遍历、判断上游赋值结果的for-each节点、分支节点等。数据集成同步类节点 用于数据同步任务使用，数据集成类型节点介绍如下。数据集成节点 使用介绍 离线同步节点 用于离线（批量）数据周期性同步...
高级应用：实现复杂作业逻辑
for-each节点 DataWorks的for-each节点主要用于有循环遍历的场景，且需要与 赋值节点 联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。for-each节点的...
InnoDB Physiological Logging
优点 高效率，并且可以直接修改物理格式，任何操作都不需要重新遍历Btree到指定页面。缺点 产生的日志量大。例如：一次 DELETE 操作，逻辑日志只需要记录MLOG_COMP_REC_DELETE offset，但实际执行过程中需要修改prev_record->next_record、...
性能优化
Traverses（遍历）：通过该步骤过滤的去重后的遍历数量。Time(ms)（时间）：该步骤主动执行遍历的总时间，单位：毫秒。Dur：该步骤的耗时占总时间的百分比。说明 DMS不支持 profile()命令，建议您通过Gremlin Console连接实例后使用该命令...
周期性调度作业概述
同时您也可以使用DataWorks的通用节点来实现较复杂的作业逻辑（如循环、遍历等），更多介绍请参见 高级应用：实现复杂作业逻辑。费用说明 DataWorks数据开发与运维中心提供MaxCompute数据同步、数据加工任务的周期调度，不仅包含DataWorks...
- 产品推荐
- 这些文档可能帮助您