倾斜摄影
倾斜摄影是城市三维场景构建器的图层，是地理场景的数据接入组件，可以接入倾斜摄影数据。倾斜摄影支持独立的样式配置。本文介绍倾斜摄影各配置项的含义。单击 图层管理 下方的 倾斜摄影 图层，进入配置面板配置 倾斜摄影 图层的样式和数据...
数据倾斜诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
S3M倾斜摄影
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
S3M倾斜摄影
S3M倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括S3M倾斜摄影的通用配置和交互配置样式。本文介绍S3M倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击 S3M倾斜摄影 图层，进入配置面板配置 S3M倾斜摄影 图层的...
3D Tiles 倾斜摄影
3D Tiles 倾斜摄影是三维城市构建器的图层，支持独立的样式和数据配置，包括3D Tiles 倾斜摄影的通用配置和交互配置样式。本文介绍3D Tiles 倾斜摄影配置项的含义。在场景编辑器左侧图层列表中，单击3D Tiles 倾斜摄影图层，进入配置面板...
查看Worker倾斜关系
当Hologres响应速度变慢且您Hologres实例监控指标中某个或者某几个Worker的CPU使用率相比其他Worker的低时，此时可能出现了计算资源倾斜，Hologres建立了新的系统视图hologres.hg_worker_info，通过此视图可以查询当前数据库Worker、Table ...
Topic分区倾斜怎么办？
问题现象 Topic分区倾斜导致部分磁盘水位偏高，无法充分使用所有磁盘性能和容量。Topic分区倾斜导致部分节点流量过高，触发单节点限流。可能原因 创建Topic时没有按照推荐的倍数设置分区数。解决方案 登录 云消息队列 Kafka 版 控制台，在...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
数据膨胀、倾斜与索引统计
倾斜率计算公式如下：1-（表在所有节点上的平均大小/表在所有节点上最大值）分布键 表的分布键。上次诊断时间 最近一次发起诊断的时间。说明 智能诊断会定期在后台每小时整点自动诊断数据库内所有的表,最近诊断时间表明最近一次发起诊断的...
DescribeDBInstanceDataSkew-查看数据倾斜的相关信息
接口说明 数据倾斜会影响数据库的运行速度，AnalyticDB PostgreSQL 版实例提供了 DescribeDBInstanceDataSkew 接口帮助您查看实例的数据倾斜情况，便于您及时消除数据倾斜。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
数据建模诊断
本文介绍如何通过控制台进行分区字段合理性诊断、分布字段倾斜诊断和复制表合理性诊断。分区字段合理性诊断 AnalyticDB MySQL版 在创建表时可以指定分区键来提高数据查询的性能，但是因为数据特征存在未知性或者随着业务特征变化发生变化，...
如何分析数据分布不均衡
本文介绍了分析和处理数据倾斜问题的方法。概述 PolarDB-X 是由阿里巴巴自主研发的PolarDB分布式版数据库，在物理资源上是由多个节点所组成的分布式集群。通过数据分区的方式，可以将数据分布到集群中的多个存储节点，发挥多个节点的存储和...
ST_ImportOSGB
将基于对象存储的倾斜摄影项目（OSGB格式）导入到数据库中。语法 boolean ST_ImportOSGB(cstring table_name,cstring url,cstring options default '{}');参数 参数名称 描述 table_name osg表名及其瓦片表前缀。url 基于对象存储服务的...
ST_ImportOSGB
将基于对象存储的倾斜摄影项目（OSGB格式）导入到数据库中。语法 boolean ST_ImportOSGB(cstring table_name,cstring url,cstring options default '{}');参数 参数名称 描述 table_name osg表名及其瓦片表前缀。url 基于对象存储服务的...
SkewedInfo
名称 类型 描述 示例值 object SkewedInfo SkewedColNames array 包含倾斜值的字段列表 string 倾斜字段 col1 SkewedColValueLocationMaps object 倾斜值和字段的映射 Map string 倾斜值和字段的映射 Map {“col1”:"val1"} ...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
SparkSQL自适应执行
阿里云E-MapReduce 3.13.0及后续版本的SparkSQL支持自适应执行功能，可以用来解决Reduce个数的动态调整、数据倾斜和执行计划的动态优化问题。使用限制 本文针对SparkSQL自适应执行涉及到的参数适用于Spark 2.x。如果您使用的是Spark 3.x，...
一键诊断
CPU使用率倾斜检测 检测不同Executor节点间CPU使用率是否均衡，若所有Executor节点的最高CPU使用率比其平均CPU使用率高出1倍，且持续时间超过指定时间段的百分之八十，则认为Executor节点间的CPU使用率存在倾斜，建议您持续关注并排查是否...
水印
FontName:'宋体',/FontName水印字体类型 FontSize:66,/FontSize：水印字体大小 FontColor:'#f00',/FontColor：水印字体颜色 Transparency:1,/Transparency：透明度 Gradient:true,/Gradient：倾斜度 ApplyTo:1,/ApplyTo：插入位置 });...
SKEWJOIN HINT
table_name 为倾斜表名，column_name 为倾斜列名，value 为倾斜key值。方法1：Hint表名（注意Hint的是表的alias）。select/*+skewjoin(a)*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1;方法2：Hint表名和认为可能产生倾斜的列，例如...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告警显示内存占用较高，或您的应用程序出现OOM异常，但性能监控显示的内存使用率并不高，可参考本文排查原因并解决问题。...在成功升级实例规格后，会改善内存倾斜问题，但可能也引起带宽倾斜或CPU倾斜。
避免下盘
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
SKEWJOIN HINT
table_name 为倾斜表名，column_name 为倾斜列名，value 为倾斜key值。方法1：Hint表名（注意Hint的是表的alias）。select/*+skewjoin(a)*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1;方法2：Hint表名和认为可能产生倾斜的列，例如...
操作流程
添加倾斜摄影数据 添加倾斜摄影类数据。具体操作，请参见 添加倾斜摄影数据。查看数据元信息 支持对各类型空间数据的元信息自动解析后方便用户查看。发布服务 通过发布服务，将空间数管中的各类型空间数据发布成行业标准的空间服务方便使用...
解读实例诊断报告
实例的诊断报告从性能水位、访问倾斜情况、慢日志等多方面评估实例的健康状况，帮助您快速定位实例的异常情况。前提条件 发起实例诊断 诊断报告组成 实例基本信息：展示实例的ID、规格、类型及可用区等基本信息。健康状况概要：展示健康...
解读实例诊断报告
实例的诊断报告从性能水位、访问倾斜情况、慢日志等多方面评估实例的健康状况，帮助您快速定位实例的异常情况。前提条件 发起实例诊断 诊断报告组成 实例基本信息：展示实例的ID、规格、类型及可用区等基本信息。健康状况概要：展示健康...
表分布定义
数据倾斜检查和处理 当某些表上的查询性能差时，可以查看是否是分区键设置不合理造成了数据倾斜，例如：create table t1(c1 int,c2 int)distributed by(c1);您可以通过下述语句来查看表的数据倾斜情况。select gp_segment_id,count(1)from ...
WaterMark
} ActiveDocument.Sections.Item(Index).WaterMarks.Item(Index).Gradient 通过 Gradient 属性，您可以设置水印的倾斜度。重要 JS-SDK V1.1.10及以上版本支持此功能。语法 表达式.ActiveDocument.Sections.Item(Index).WaterMarks.Item...
维表JOIN语句
主流数据在Join Key上存在严重的数据倾斜，这种场景下如果使用SHUFFLE_HASH联接，会因为数据倾斜导致Join节点成为性能瓶颈，从而会导致流作业出现严重反压或是批场景出现严重长尾，此时建议使用REPLICATED_SHUFFLE_HASH联接。维表数据较小...
常见问题
select/*+BROADCAST(table1)*/*from table1 join table2 on table1.id=table2.id 根据倾斜key，分离倾斜数据。select*from table1_1 join table2 on table11.id=table2.id union all select/*+BROADCAST(table1_2)*/*from table1_2 join ...
动画
两个参数时，分别在 X 轴倾斜 ax 度，在 Y 轴倾斜 ay 度。skewX ax 参数范围为-180~180。Y 轴坐标不变，X 轴坐标沿顺时针倾斜 ax 度。skewY ay 参数范围为-180~180。X 轴坐标不变，Y 轴坐标沿顺时针倾斜 ay 度。矩形变形 方法 参数 说明 ...
调优集群性能
中间数据倾斜 中间数据倾斜不同于源表倾斜。在中间数据倾斜的场景下，源表数据可能在各个Shard上是分布均匀的，但是Shard中包含的某个字段的值又是分布不均的。当您根据分布不均的字段来做分组聚合查询或者作为JOIN的条件，云原生数据仓库 ...
功能简介
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、瓦片、倾斜摄影等多种类型，不同格式的多源异构空间数据的接入和管理；支持本地上传、从OSS导入等多种方式添加数据；添加数据的同时支持各类型空间数据的元信息自动解析，支持...
查看数据处理任务运维信息
本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选 择数据...
添加处理后数据到数据管理
本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
一级分区的规划和设计（2.0版）
数据倾斜带来的影响 如果一级分区列选择不合理会导致用户表数据倾斜，带来如SQL查询长尾、后台数据上线超时和单节点资源不足等诸多问题，对查询性能影响非常大也会给用户带来资源的浪费。如何评估表数据是否倾斜 登录 分析型数据库MySQL版...
空间数据（邀测中）
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、倾斜摄影等多种类型，不同格式的多源异构空间数据的接入和管理；支持本地上传、从OSS导入等多种方式添加数据；添加数据的同时支持各类型空间数据的元信息自动解析，支持按空间...
- 产品推荐
- 这些文档可能帮助您