算子级别诊断结果
扫描算子读取字段个数较多 问题 扫描算子会在 AnalyticDB MySQL版 的存储层进行数据的过滤和明细数据的读取，如果SELECT的字段个数较多，需要读取的明细数据也较多，那么就会占用较大的磁盘I/O资源，影响 AnalyticDB MySQL版 集群整体稳定...
算子介绍
但当路由分发到一个分片时，该算子也会出现在SELECT语句中。explain insert into sbtest1 values(1,1,'1','1'),(2,2,'2','2');返回信息如下：PhyTableOperation(tables="SYSBENCH_CORONADB_1526954857179TGMMSYSBENCH_CORONADB_VGOC_0000_...
计费项
音频流的长度 eff：CU系数 Ceiling(x)函数：返回大于或等于x的最小整数值 算子与计费项对应关系 在通过绑定OSS Bucket或调用IndexFileMeta、BatchIndexFileMeta建立元数据索引时，执行 工作流模板与算子的对应关系 中的算子会产生数据处理...
标签对象
用途 标签对象 算子用于从和读数据表算子类似可以作为下游节点输入数据的来源，区别是标签算子的数据表是固定的，一个标签算子会由1到N张表连接而成。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用...
统计分组
例如：选择“性别”作为分组字段，则算子会使用性别字段分组，分成“男”、“女”、“”。统计项 统计项是对经过统计范围筛选后的数据进行分组聚合操作。统计项支持表达式计算。说明 用户可以一次配置多个统计项。统计范围 配置统计的筛选...
ePQ支持查看与分析执行计划
如果查询逐渐复杂，则执行计划中的计划分片和Motion算子会越来越多，示例如下：CREATE TABLE t1(a INT,b INT,c INT);SET polar_enable_px TO ON;EXPLAIN(COSTS OFF)SELECT SUM(b)FROM t1 GROUP BY a LIMIT 1;QUERY PLAN-Limit->PX ...
ePQ支持查看与分析执行计划
如果查询逐渐复杂，则执行计划中的计划分片和Motion算子会越来越多，示例如下：CREATE TABLE t1(a INT,b INT,c INT);SET polar_enable_px TO ON;EXPLAIN(COSTS OFF)SELECT SUM(b)FROM t1 GROUP BY a LIMIT 1;QUERY PLAN-Limit->PX ...
读API
本文介绍读API算子的使用方式和注意事项。用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置...
执行引擎
部分HQE还没有支持的函数和算子，会通过PQE执行，每个版本都在持续优化中，最终目标是去掉PQE。SQE（Seahawks Query Engine）无缝对接MaxCompute（ODPS）的执行引擎，实现对MaxCompute的本地访问，无需迁移和导入数据，就可以高性能和全...
避免下盘
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
建一个包含自定义算子的任务
当平台内置的算子无法解决您的数据处理需求时，您需要自己开发一个算子（如天气识别算子）并打包成像，上传到 自定义算子管理 模块，点击上线后，该算子将会在任务配置的算子列表中出现，即可参与任务的编排。大致可分为以下两个步骤：上传...
视频直播延时的解决方法
而Android端因为机型复杂，CPU类型众多，采用硬编码可能会出现兼容性问题，所以Android端推流建议您使用软编码。服务端 RTMP/FLV 播放前延迟：为了保证直播秒开以及降低卡顿，服务端默认会缓存4s的数据，根据GOP大小不同会有波动，造成一定...
计费概述
数据处理费用 调用API除了产生请求费用，还会产生算子处理费用，算子处理费用包括同步算子和异步算子。说明 同步算子费用在调用API返回时即产生计费，并统计在处理完成时刻的计费周期内。异步算子费用在调用API返回时并不立刻产生计费，...
查询流程和执行计划
物理执行计划由Stage和算子（Operator）组成，物理执行计划中的算子（Operator）会对数据按照一定规则进行处理。Executor节点将数据处理的最终结果返回到客户端，或者写入 AnalyticDB MySQL版 集群的内部表以及其它外部存储系统（如OSS）中...
写标签
本文介绍写标签算子的使用方法。用途 写标签 算子用于将模型上游节点处理之后的数据同步关联到指定的对象标签。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 标签配置 配置将...
工作流模板与算子
工作流模板与算子的对应关系 IMM提供的TemplateId及其对应的算子如下表所示，其中 支持 表示在建立元数据索引时会执行该算子操作，不支持 表示在建立元数据索引时不会执行该算子操作。TemplateId 算子 OSSMeta（OSS 元信息）MIME（文件类型...
优化聚合与排序
'))")TopN 当SQL中ORDER BY和LIMIT一起出现时，Sort算子和Limit算子会合并成TopN算子。TopN算子维护一个最大或最小堆，按照排序键的值，堆中始终保留最大或最小的N行数据。当处理完全部的输入数据时，堆中留下的N个行（或小于N个）就是需要...
Queries语句
不支持 在对更新流的支持上，老语法窗口聚合（GroupWindowAggregation算子）支持更新流（VVR和社区Flink保持一致），新语法（WindowAggregate算子）社区Flink（1.16~1.18）不支持更新流，而VVR实现了新老语法的内部融合，可以自动根据输入...
排序优化和执行
'))")TopN 当SQL中ORDER BY和LIMIT一起出现时，Sort运算和Limit运算会合并成TopN算子。TopN算子维护一个最大或最小堆，按照排序键的值，堆中始终保留最大或最小的N行数据。当处理完全部的输入数据时，堆中留下的N个行（或小于N个）即为需要...
消息堆积和延迟问题
本文主要介绍 云消息队列 RocketMQ 版 TCP协议的Java客户端使用过程中，经常会出现的消息堆积和消息延迟的问题。通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或...
使用ACK Net Exporter定位网络问题
单击 Metric browser，然后输入 inspector，Grafana会自动补全ACK Net Exporter所有就绪的Metric，单击右上角 Save，在弹出框中单击 Save，然后会出现可视化的数据，效果如下：对于使用Grafana进行可视化图形显示的配置，可以参照上述的...
团队成员及角色
将您要设置为「管理员」的子账号，加入到「云开发平台应用管理员」用户组 完成上面的操作后，您在云开发平台设置的「应用管理员」团队管理员」，就可以正常查看应用的「监控运维」和「应用账单」信息了。如果某个用户从「管理员」角色移除...
选择网络
全球加速 如果业务服务器、日志服务Project分别属于国内地域和国外地域，使用公网传输数据可能会出现网络延迟高、传输不稳定等问题，您可以选择全球加速传输数据。更多信息，请参见 全球加速。场景 网络类型 ECS实例和Project属于同一地域 ...
什么是Deepytorch Inference（推理加速）
例如torchvision.models.detection中的fasterrcnn_resnet50_fpn模型，此类模型在执行 torch.jit.freeze 时会出现错误。不支持例如demucs模型中的conv1d算子。相关文档 相比模型默认的推理配置，使用Deepytorch Inference工具对模型进行推理...
0040-00000203
问题描述 图片处理算子参数格式非法。问题原因 在单个算子参数的图片处理算子中传入多个参数，参数个数不符合要求。问题示例 GET/example_image?x-oss-process=image/rotate,90,200,300 ...
0040-00000212
问题描述 图片处理算子未指定。问题原因 图片处理算子未指定。问题示例 GET/example_image?x-oss-process=image/HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:application/...
0040-00000213
问题描述 图片处理算子不存在。问题原因 图片处理算子不存在。问题示例 GET/example_image?x-oss-process=image/slim,1 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
0040-00000205
问题描述 老版本图片处理高级裁剪算子参数非法。问题原因 老版本图片处理高级裁剪算子参数格式非法或参数类型为非数字。问题示例 GET/example_image@100-50-100a HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 ...
执行计划调优
如何发现问题 自上而下，梳理痛点 从上向下梳理计划，查看时间到底花在了什么算子上面，然后针对具体算子深入分析。查看代价，对比行数 查看比较代价估算的异常（特别小或特别大），对比估算行数和实际执行行数，找到代价估算和行数估算的...
任务配置
源数据类型/目标数据类型：选择算子后，系统会自动填入。说明：此处直接使用算子已配置的内容，不支持修改。如有修改需求，需在“数据定义>自定义算子管理”模块对算子进行修改。算法参数：算法运行时填写的参数。数据预处理 数据预处理...
Join
本文为您介绍Regular Join、Interval Join、Temporal Join和Lookup Join修改的可兼容性和不可兼容性详情。...Lookup Join Lookup Join的计算不涉及到状态，因此它的修改不会影响自身算子的状态兼容，但它的修改会影响其输出算子的兼容性。
DescribeDiagnosisSQLInfo-查看SQL语句的详细信息
Children 算子结构体 递归结构 子节点算子，字段结构与父节点算子结构一致，最下层子节点的该值为空。示例 正常返回示例 JSON 格式 {"RequestId":"425AAA6A-63E0-1929-A1CE-3D9036CBC463","QueryID":"71403480878*","SessionID":"658*",...
摘除离群实例
Ribbon负载均衡刷新默认间隔是30秒，如果配置的恢复检测单位时间小于30秒，会出现恢复不及时的问题。为了保护应用A的服务性能和可用性，可以为应用A配置离群实例摘除。配置后，即可监控B、C、D应用的实例状态并进行动态调整（摘除或添加）...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
域名过户常见问题
中国”域名的 域名持有者单位名称（中文）字段不能超过64个字符，其他域名的 域名持有者单位名称（中文）字段不能超过128个字符，单位名称超过64或128个字符可能会出现此问题。处理方法：如果“.cn”、“.中国”域名的域名持有者名称超过64...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
- 产品推荐
- 这些文档可能帮助您