2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
数据上云场景
使用DataWorks结合DataX进行Hadoop数据迁移的示例请参见 Hadoop数据迁移新手教程，或参见视频教程 Hadoop数据迁移到MaxCompute最佳实践。Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
数据倾斜诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
数据迁移
迁移其它业务平台的业务数据至MaxCompute：迁移Hadoop数据至MaxCompute，详情请参见 迁移Hadoop数据至MaxCompute最佳实践（视频）。数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至...
避免下盘
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
DescribeDBInstanceDataSkew-查看数据倾斜的相关信息
接口说明 数据倾斜会影响数据库的运行速度，AnalyticDB PostgreSQL 版实例提供了 DescribeDBInstanceDataSkew 接口帮助您查看实例的数据倾斜情况，便于您及时消除数据倾斜。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名...
数据膨胀、倾斜与索引统计
AnalyticDB PostgreSQL版 诊断与优化功能新增了关键指标页，用于查看数据膨胀、数据倾斜和索引使用统计信息。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级内核小版本，请参见 查看内核小版本 和...
一级分区的规划和设计（2.0版）
数据倾斜带来的影响 如果一级分区列选择不合理会导致用户表数据倾斜，带来如SQL查询长尾、后台数据上线超时和单节点资源不足等诸多问题，对查询性能影响非常大也会给用户带来资源的浪费。如何评估表数据是否倾斜 登录 分析型数据库MySQL版...
表分布定义
数据倾斜检查和处理 当某些表上的查询性能差时，可以查看是否是分区键设置不合理造成了数据倾斜，例如：create table t1(c1 int,c2 int)distributed by(c1);您可以通过下述语句来查看表的数据倾斜情况。select gp_segment_id,count(1)from ...
数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
分布键的选择策略
选择数据分布均匀的列或者多个列 若分布键数据分布不均匀，可能会导致数据倾斜。数据倾斜会导致部分计算节点存储的数据过多，查询负载大，查询耗时变长。因此请不要选择bool类型、时间日期类型的列作为分布键。选择经常需要JOIN的列作为...
MaxCompute+Hadoop搭建实践
准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端界面输入如下命令：[has@emr-header-1 root]$hive-创建库 create database if not exists myhive;切换...
最佳实践概览
通过DataWorks将MaxCompute数据同步至Elasticsearch 通过阿里云Logstash将MaxCompute数据同步至Elasticsearch 通过实时计算处理数据并同步到Elasticsearch 通过DataWorks将Hadoop数据同步至Elasticsearch 存储产品迁移 从Solr集群迁移文档...
使用Stage和Task详情分析查询
如果存在数据倾斜，说明分组查询的分组字段或Join条件字段存在数据倾斜，需要追溯到当前Task所属的Stage的上游Stage进一步定位问题。说明 数据倾斜即分布字段设置不合理，导致数据在Worker节点上分布不均衡。Task输出数据量 Task的输出数据...
如何分析数据分布不均衡
本文介绍了分析和处理数据倾斜问题的方法。概述 PolarDB-X 是由阿里巴巴自主研发的PolarDB分布式版数据库，在物理资源上是由多个节点所组成的分布式集群。通过数据分区的方式，可以将数据分布到集群中的多个存储节点，发挥多个节点的存储和...
SparkSQL自适应执行
阿里云E-MapReduce 3.13.0及后续版本的SparkSQL支持自适应执行功能，可以用来解决Reduce个数的动态调整、数据倾斜和执行计划的动态优化问题。使用限制 本文针对SparkSQL自适应执行涉及到的参数适用于Spark 2.x。如果您使用的是Spark 3.x，...
SKEWJOIN HINT
方法2：Hint表名和认为可能产生倾斜的列，例如表a的c0和c1列存在数据倾斜。select/*+skewjoin(a(c0,c1))*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1 and a.c2=b.c2;方法3：Hint表名和列，并提供发生倾斜的key值。如果是STRING类型...
数据建模诊断
但是因为数据特征存在未知性或者随着业务特征变化会发生变化，所以可能存在分布字段选择不合理的情况，最终会导致数据倾斜问题，造成各个节点处理数据时资源使用不均衡，子任务出现长尾，最终影响查询性能。分布字段合理性诊断会帮助用户...
查看Worker倾斜关系
示例结果：shard 39的count值较大，存在倾斜 hg_shard_id|count-+-53|29130 65|28628 66|26970 70|28767 77|28753 24|30310 15|29550 39|164983 通过数据倾斜的 hg_shard_id 查询对应的 worker_id。上一步骤得出哪个Shard数据存在倾斜，...
SKEWJOIN HINT
方法2：Hint表名和认为可能产生倾斜的列，例如表a的c0和c1列存在数据倾斜。select/*+skewjoin(a(c0,c1))*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1 and a.c2=b.c2;方法3：Hint表名和列，并提供发生倾斜的key值。如果是STRING类型...
实时同步任务延迟解决方案
但由于总字节数包括任务从上次指定位点启动开始的数据量，如果任务运行时间已经很长，则可能无法反映出最近的数据倾斜情况，您需要继续通过源端系统的监控指标确认是否存在数据倾斜情况。如果写入源端系统的单个分区或者shard数据流量已经...
常见问题
Reduce Task任务耗时，是否出现了数据倾斜？如何预估Hive作业并发量的上限值？为什么Hive创建的外部表没有数据？作业长时间处于等待状态，如何处理？您可以通过以下步骤定位问题：在EMR控制台的 访问链接与端口 页面，单击YARN UI所在行的...
异构数据源访问
测试数据集内容如下：1,test1,1,100 2,test2,2,90 操作步骤 在 异构数据源访问 页签，单击 新增数据源 的下拉菜单，选择 Hadoop数据源。在 新增Hadoop数据源页面 页面依次配置 网络&安全组、配置文件、初始化。配置 网络&安全组。参数 说明...
MMA概述
MMA迁移作业方案 本文为您介绍Hadoop数据迁移至MaxCompute的两种迁移方案，您可以根据实际情况选择。迁移链路一 专线场景下，支持通过MMA迁移Hive数据至MaxCompute。迁移方案如下图所示。迁移链路二 无专线场景下，支持通过闪电立方迁移...
Hudi存储
同时支持热点数据自动打散，解决数据倾斜问题，大幅提升写入稳定性。分区级生命周期管理 支持设置多种策略，如按分区数、按数据量和按过期时间策略管理分区数据生命周期，同时支持并发设置生命周期管理策略，进一步降低存储成本。异步Table...
偏分析场景的实践和优化
当数据量过大或者有数据倾斜时，二级分区的选择至关重要，如果数据量大的表中没有二级分区或者二级分区切分不合理，也会影响性能。如果业务明确有增量数据导入需求，主要是对最近数据的报表分析，那么建议用日期格式做二级分区，避免对历史...
Tair开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
云数据库Redis开发运维规范
存储资源 Streaming慢消费、大Key等会占用大量存储资源，集群架构 下还会导致数据倾斜，无法有效利用所有数据分片。网络资源 扫描全库（KEYS 命令）、大Value、大Key的范围查询（如 HGETALL 命令）等会消耗大量的网络资源，且极易引发线程...
一键诊断
表倾斜检测功能会先定位数据量最大的表，然后再检测这些表是否存在数据倾斜。对倾斜的表进行优化，可以提升查询性能，均衡磁盘空间的数据量，降低磁盘锁定的风险。不合理分区表详情 表分区不合理检测会先定位数据量最大的表，然后再检测...
常见问题
如何处理SparkSQL数据倾斜?PySpark 如何指定PySpark使用Python 3版本？Spark Streaming 为什么Spark Streaming作业运行一段时间后无故结束？为什么Spark Streaming作业已经结束，但是E-MapReduce控制台显示作业状态还处于“运行中”？在...
查看数据处理任务运维信息
本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选 择数据...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
调优集群性能
中间数据倾斜 中间数据倾斜不同于源表倾斜。在中间数据倾斜的场景下，源表数据可能在各个Shard上是分布均匀的，但是Shard中包含的某个字段的值又是分布不均的。当您根据分布不均的字段来做分组聚合查询或者作为JOIN的条件，云原生数据仓库 ...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告...重要 变配时 Redis 会进行数据倾斜预检查，若您选择的实例规格无法解决内存倾斜问题，Redis 会进行拦截与报错，请您调大实例规格后重试。在成功升级实例规格后，会改善内存倾斜问题，但可能也引起带宽倾斜或CPU倾斜。
2022年
关键指标：您可以通过控制台查看数据膨胀、数据倾斜以及索引使用监控信息。查询分析：您可以通过控制台查看SQL运行历史记录及状态，并通过系统提供的查询计划执行细节数据，深入分析查询执行过程。说明 仅支持存储弹性模式实例，且内核版本...
- 产品推荐
- 这些文档可能帮助您