小表广播
广播任务列表 在 实例详情>小表广播 页面，您可以查看当前实例下所有的小表广播任务及其概览信息。表名：待同步配置表的名称。源数据库：待同步表所在的逻辑数据库。目标数据库：待同步表的目标端数据库。任务状态：广播任务的执行状态，...
Stage级别诊断结果
对于Join条件存在数据倾斜的场景，如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在...
Hash Clustering
Join在MaxCompute内部主要有三种实现方法：Broadcast Hash Join 当Join表中存在一个很小的表时，MaxCompute采用此方式，即把小表广播传递到所有的Join Task Instance上面，然后直接和大表做Hash Join。Shuffle Hash Join 如果Join表比较大...
错误码表（2.0版）
维度表建表语句不能指定表组，维度表均归属于系统默认维度表组，请修改。18013 The minimum PARTITION NUM allowed for fact table is xxx,but xxx was defined.不满足分区表的最小分区数定义，请修改。18014 Table‘table’already exists...
分布键的选择策略
否则需要将一个表进行重分布（Redistribute motion）来实现 重分布关联（Redistributed Join）（如图二所示）或者广播其中小表（Broadcast motion）来实现 广播关联（Broadcast Join）（如图三所示），重分布关联和广播关联两种方式都会...
表分布定义
否则需要将一个表进行重分布（Redistribute motion）来实现 重分布关联（Redistributed Join）（如图二所示）或者广播其中小表（Broadcast motion）来实现 广播关联（Broadcast Join）（如图三所示），重分布关联和广播关联两种方式都会...
Spark常见报错
解决方法：Spark作业中广播表的最大内存为8 GB，您可以在提交Spark作业时使用 spark.sql.autoBroadcastJoinThreshold 参数配置广播表的内存。单位MB。Spark会使用抽样方法估算表的大小，如果表分布不均匀，估算就会出现错误。您可以将 ...
V5.1.x系列实例版本说明
修复INSERT SELECT语句在广播表存在的情况下不会下推分片执行的问题。修复BigDecimal类型的浮点数精度不会显示为指数的问题。修复部分存储过程调用会导致连接进入不可恢复状态。修复 SET@session.sql_log_bin=0 语句会导致连接池污染的问题...
与标准SQL的主要区别及解决方法
如果有一些小表要作为广播表，需要使用MAPJOIN HINT。ORDER BY ORDER BY需要配合LIMIT N使用。如果希望执行大数据量的排序任务，甚至是全表排序任务，可以增大N值。解决方案请参见 MaxCompute查询得到的数据是根据什么排序的？UNION ALL ...
JOIN
例如，当需要连接一个大表和一个小表时，您也可以将小表加载到内存中，从而提高运行效率。配置组件 在Designer工作流页面添加 JOIN 组件（仅支持可视化方式配置），并在界面右侧配置相关参数：参数 描述 连接类型 支持左连接、内连接、右...
DISTRIBUTED MAPJOIN
Distributed MapJoin是MapJoin的升级版，适用于小表Join大表的场景，二者的核心目的都是为了减少大表侧的Shuffle和排序。注意事项 Join两侧的表数据量要求不同，大表侧数据在10 TB以上，小表侧数据在[1 GB,100 GB]范围内。小表侧的数据需要...
DISTRIBUTED MAPJOIN
shard_count=<n>：设置小表数据的分片数，小表数据分片会分布至各个计算节点处理。n 即为分片数，一般按奇数设置。说明 shard_count 值建议手动指定，shard_count 值可以根据小表数据量来大致估算，预估一个分片节点处理的数据量范围是[200...
使用EXPLAIN阅读查询计划
Nested Loop Join要求广播其中的一个小表，这样一个表中的所有行才能与其他表中的所有行进行连接操作。Nested Loop Join在较小的表或者通过使用索引约束的表上执行得不错，但在使用Nested Loop连接大型表时可能会有性能影响。设置配置参数...
执行计划
Nested Loop Join要求广播其中的一个小表，这样一个表中的所有行才能与其他表中的所有行进行连接操作。Nested Loop Join在较小的表或者通过使用索引约束的表上执行得不错，但在使用Nested Loop连接大型表时可能会有性能影响。Merge Join：...
消除数据重分布
对于一个大表join多个小表的场景，类似star schema，采用大表（fact表）和最大的小表（dimension表）的共同列作为数据分布列。根据参与最常见join的数据集的大小选择最大dimension表，而不仅仅是表的大小。如果涉及到一个表的查询普遍带有...
MAPJOIN HINT
当您对一个大表和一个或多个小表执行 join 操作时，可以在 select 语句中显式指定 mapjoin Hint提示以提升查询性能。本文为您介绍如何通过 mapjoin hint 连接表。功能介绍 整个 JOIN 过程包含Map、Shuffle和Reduce三个阶段。通常情况下，...
MAPJOIN HINT
当您对一个大表和一个或多个小表执行 join 操作时，可以在 select 语句中显式指定 mapjoin Hint提示以提升查询性能。本文为您介绍如何通过 mapjoin hint 连接表。功能介绍 整个 JOIN 过程包含Map、Shuffle和Reduce三个阶段。通常情况下，...
JOIN实现类型
Hash Join：用于包含等值条件的join 将小表按连接键计算出一个hash表，然后从大表一条条抽取记录，计算hash值，根据hash到A表的hash来匹配符合条件的记录。SELECT t1.id,t2.id FROM tj_shop AS t1 JOIN tj_item AS t2 ON t1.id=t2.id 说明 ...
STRAIGHT_JOIN
在默认Hash JOIN场景下，选择大表在左，小表在右时，会达到较好性能。如果指定NESTED LOOP JOIN，则应选择小表在左，大表在右。如下第一句SQL，如果已知最佳连接顺序为region、nation、customer，则可以将第一句SQL改写为第二句SQL，指定...
多表连接
开启MapJoin 当对一个大表和一个或多个小表执行join操作时，可以开启MapJoin显式指定小表以提升运算性能。说明 开启MapJoin功能仅支持MaxCompute（ODPS）引擎，对其它引擎无效。输出字段 配置当前节点输出到下游节点的字段列表，默认为所有...
SQL使用限制
MAPJOIN 内存限制 512 MB 数量限制 MAPJOIN 场景，所有小表的内存不能超过512 MB。窗口函数 5个 数量限制 单个SELECT语句中最多允许存在5个窗口函数。ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL...
DQL操作常见问题
FAILED:ODPS-0123065:Join exception-Maximum 16 join inputs allowed 产生原因 MaxCompute SQL最多支持6张小表的MAPJOIN，并且连续JOIN的表不能超过16张。解决措施 将部分小表JOIN成一张临时表作为输入表，减少输入表的个数。在执行JOIN...
SQL使用限制
MAPJOIN 内存限制 512 MB 数量限制 MAPJOIN 场景，所有小表的内存不能超过512 MB。ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK...
为什么在PolarDB-X 1.0的数据库中创建一张单表，它会...
PolarDB-X 1.0 设计为，创建单表时会给所有的分库里面都创建同样的表，但数据只存储第一个分库的表里面，目的是为了在单表转到广播表的时候，可以不用初始化表结构，仅需要同步数据。
SQL使用限制项
MAPJOIN 内存限制 512 MB 数量限制 MAPJOIN 场景，所有小表的内存不能超过512 MB。ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK...
分区裁剪
有分区裁剪，分区大表和小表的JOIN简化如下图：因此，对于大表JOIN小表的典型场景，可以考虑通过将大表改造成分区表，利用动态分区裁剪的特性加速查询。示例 示例一：WHERE条件包含子查询的动态分区裁剪。CREATE TABLE t1(a int,b int);...
数据膨胀、倾斜与索引统计
如何查看和升级内核小版本，请参见 查看内核小版本 和 版本升级。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。找到目标实例，单击实例ID。在左侧导航栏中，选择 诊断与优化>关键指标。...
分区设计
且不能利用主键进行索引优化时，需要对全部分区进行扫描，此时可以对这部分全分区扫描的语句的查询条件建立索引，使得在每个分区上进行访问时，仍然能取得较高的性能 说明 HybridDB for MySQL目前暂不支持广播表（广播表的数据在每个数据...
动态文件剪枝
如果表中的文件数量过少，则扫描全表的开销可能会更小一些。你可以使用命令：DESCRIBE DETAIL table_name，然后查看 numFiles 列获取到表中的文件数量。使用案例 测试数据生成：在本节中我们使用TPCDS数据集作为测试数据，主要使用到store_...
SetupBroadcastTables
调用SetupBroadcastTables接口设置广播表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
SwitchGlobalBroadcastType
调用SwitchGlobalBroadcastType接口将广播表从多写切换成异步链路模式。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
DescribeGlobalBroadcastType
调用DescribeGlobalBroadcastType接口查询是否为广播表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
API概览
广播表 API 描述 DescribeBroadcastTables 该接口用于查询广播表详情。DescribeGlobalBroadcastType 该接口用于查询是否为广播表。SetupBroadcastTables 该接口用于设置广播表。SwitchGlobalBroadcastType 该接口用于将广播表从多写切换成...
分布键Distribution Key
小表因其数据量较少，无需过多考虑。表数据量大致相同的情况，可以设置Group By频繁的Join字段为Distribution Key。如下示例，有三个表相互Join，Join的字段不完全一样，这个时候选择大表的Join字段为Distribution Key，join_tbl_1 这个表...
表引擎
Log Log系列引擎适用于快速写入小表（1百万行左右的表）并读取全部数据的场景。该系列引擎的共同特点如下。数据被追加写入磁盘中。不支持 delete、update。不支持索引。不支持原子性写。insert 会阻塞 select 操作。TinyLog 不支持并发读取...
云原生分布式数据库PolarDB-X 1.0的审计事件
DescribeBroadcastTables 查询广播表。DescribeCreateDrdsInstanceStatus 获取创建DRDS实例状态。DescribeDbInstanceDbs 查看目标存储实例下的数据库列表。DescribeDbInstances 查看存储层（如RDS或PolarDB）的实例列表。DescribeDrdsDB ...
查看表和DB的存储大小
Hologres兼容PostgreSQL，当前支持查看表或者DB的存储大小。本文将会为您介绍如何使用SQL语句查看表和DB的存储大小。使用限制 仅支持查看内部表的存储规格大小，不支持直接查看分区父表（查看分区父表返回结果是0），需要指定分区子表进行...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面左上角，单击...
使用限制
在 PolarDB-X 1.0 非拆分模式库（即后端仅关联一个已有的RDS物理库）、或拆分模式库中仅有单表（即所有表都是单库单表，且无广播表）的场景下执行INSERT时，PolarDB-X 1.0 会自动优化并直接下推语句，绕过优化器中分配Sequence值的部分。...
- 产品推荐
- 这些文档可能帮助您