表分区
指定的分区键可以与父亲的分区键重叠，不过在指定子分区的边界时要注意它接受的数据集合是分区自身边界允许的数据集合的一个子集，系统不会尝试检查事情情况是否如此。3.在分区表的键列上创建一个索引，还有其他需要的索引（键索引并不是...
迁移服务（MMA）
单个任务处理的最大数量（单位GB）需要迁移的分区数据大小的最大值。Hive Job配置 Hive引擎相关的任务参数，默认为MR引擎的部分配置。说明 该配置用于解决YARN容器内存不足、指定Spark运行队列等问题。数据库白名单 需要迁移的Hive数据库，...
调度依赖配置指引
方式一：自定义依赖关系 若DataWorks上任务间不存在强血缘依赖（例如，不强依赖上游某个分区数据，仅取上游当前时间点最大分区数据），或依赖的数据非周期调度节点产出的表数据（例如，本地上传的表数据），则您可自定义节点的依赖关系。...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下：租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
分区表常见问题
在这种场景下，您可以在一张分区表中同时使用两种分区：大租户单独使用LIST分区，或多个大租户组合使用一个LIST分区。分区个数取决于大租户的个数和数据量。其他中小租户使用HASH分区，HASH分区的分区个数确定方法同HASH分区表。使用分区表...
如何分析数据分布不均衡
除此之外，分区表还支持通过 select*from information_schema.table_detail where logical_table='test_tb' 查询分区级的详细信息，部分参数说明如下：PARTITION_NAME：分区名 TABLE_ROWS：分区的数据行数 DATA_LENGTH：分区的数据大小 ...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
2021年
新说明 MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。物化视图操作 2021年11月更新记录 时间 特性 类别 描述 产品...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
读数据表
本文介绍读数据表算子的...最新分区（仅MaxCompute）：在运行时，读取分区表的一级分区中分区值最大的分区里的数据，分区最大值按字母排序。区间：读取“开始分区”到“结束分区”之间的所有分区的数据。自定义：读取指定单个指定分区的数据。
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
ALTER TABLE…EXCHANGE PARTITION
ALTER TABLE…EXCHANGE PARTITION命令可以用一个分区或子分区交换现有的表。语法介绍 如果您打算添加大量的数据到分区表中，可以使用ALTER TABLE…EXCHANGE PARTITION命令来进行批量加载。您也可以使用ALTER TABLE…EXCHANGE PARTITION命令...
扩容分区和文件系统（Linux）
重要 CentOS 6操作系统在扩容至2 TiB以上或者扩容GPT分区表时，需要参考 离线扩容分区和文件系统（Linux数据盘）使用 parted 命令进行操作，不能使用本文档介绍的 growpart 命令进行操作，否则会有分区表被破坏的风险。判断是否为GPT分区，...
交换分区
PolarDB PostgreSQL版（兼容Oracle）支持交换两个分区或者子分区的内容。本文详细介绍了其语法及示例。语法说明 交换分区 ALTER TABLE<target_table>EXCHANGE PARTITION<target_partition>WITH TABLE[(INCLUDING|EXCLUDING)INDEXES][(WITH|...
离线同步数据质量排查
以MaxCompute、Hologres为例，2个任务写同一个分区数据（同步前清理分区数据 truncate），第一个任务写出的数据可能会被第2个同步任务清理掉。关系数据库配置了前置处理preSql、后置处理postSql等，第一个任务写出的数据可能会被第2个同步...
BUILD
配置BUILD调度优先级 BUILD调度是按照单表某个一级分区新增数据量排序下发任务，新增数据量大的分区先下发任务，根据下发时间的先后排序执行任务。当需要按业务紧急程度调度BUILD任务时，可以通过Hint或者 SET ADB_CONFIG 调整单表或多表...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
块存储FAQ
Linux系统添加数据盘时，在格式化数据盘编辑分区信息时，需要注意I/O优化实例和非I/O优化实例的数据盘设备名不同。数据盘的设备名默认由系统分配，命名规则如下所示：I/O优化实例：通过NVMe协议挂载的数据盘设备名为/dev/nvmeXn1，例如/dev...
PolarDB MySQL版8.0.2版本发布日志
修复在主键不包含分区键的分区表上执行等值查询操作，选择唯一键（UK）进行index merge的场景下，只返回第一个分区中的数据的问题。8.0.2.2.20 类别 说明 发布时间 新增功能和性能优化 未添加过Statement Outline的集群，在版本升级后如果...
数据倾斜调优
数据倾斜排查及解决方法 根据使用经验总结，引起数据倾斜的主要原因有如下几类：Join GroupBy Count（Distinct）ROW_NUMBER（TopN）动态分区 其中出现的频率排序为 JOIN>GroupBy>Count(Distinct)>ROW_NUMBER>动态分区。Join 针对Join端产生...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
管理健康报告
一般来说，变异系数越大，这个分区越有可能存在数据倾斜的情况。导入任务 该页面展示导入任务的统计信息，并从多个角度对导入任务进行分析。说明 目前系统仅能支持统计和分析存算一体实例下的导入任务情况。Top导入热表潜在小文件分析 针对...
分区索引
RANGE_TIME_PARTITION_TTL 否 表示保留多少天的分区数据，例如 RANGE_TIME_PARTITION_TTL='180'，表示保留半年的分区数据，历史分区数据会被自动清理掉。RANGE_TIME_PARTITION_FIELD_TIMEUNIT 否 表示业务指定的时间分区字段单位，默认单位...
扩容数据盘分区
fdisk-lu 返回示例如下，可以看到vdb为数据盘，大小为150 GiB，目前只有/dev/vdb1 一个分区，大小为70 GiB，分区类型为MBR分区（Type 取值为 Linux 表示MBR分区）。执行以下命令确认已有磁盘分区的文件系统类型。df-Th 返回示例如下，可以...
CREATE TABLE
例如：RANGE_TIME_PARTITION_TTL='180' 表示保留半年的分区数据，历史分区数据会被自动清理掉。RANGE_TIME_PARTITION_MAX_OVERLAP 如果写入的数据时间点是将来的时间，这个参数表示写入的数据时间点与当前时刻的最大时间间隔，单位为天。...
数据存储冷热分离
如果加载数据之后 hot_total_size 和 cold_total_size 都为0，则表示数据还在实时中，rt_total_size 为实时数据的存储，可以通过执行build语句，将实时数据转换为分区数据，待build完成后可以查到 hot_total_size 和 cold_total_size。...
初始化概述
操作指导 初始化小于等于2 TiB的数据盘 操作系统 初始化工具 分区格式 常见文件系统 参考文档 Windows 磁盘管理 GPT（推荐）MBR NTFS 初始化小于等于2 TiB数据盘（Windows）Linux 分区：Parted 文件系统：e2fsprogs GPT（推荐）MBR ext4 ...
概述
不支持 不支持 支持 支持 支持 支持 不支持 清空分区 清空一个分区数据 支持 支持 支持 支持 支持 支持 支持 分区变更操作对不同变更对象的支持 AUTO模式数据库分区表允许将分区定义完全相同的分区表集合划为一个表组，这样同一个表组的...
创建ID安全匹配任务
隐私集合求交任务可用于求双方数据交集（适用于两方数据量级相差百万以下）。本文为您介绍如何创建TrustDA/PSI任务。场景描述 A有一张数据表demo_psi_a_in，存有设备信息，id_int作为主键；B有一张数据表demo_psi_b_in，也存有一部分设备...
创建安全数据对齐任务
数据引入 选择使用方和加持方的输入表名、分区和碰撞字段。使用方：指需要数据的一方。加持方：指提供数据的一方。数据名称：选择已创建的数据。数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度，可点击数据分区后的图标...
创建安全数据加密任务
数据引入 选择使用方和加持方的输入表名、分区和碰撞字段。使用方：指需要数据的一方。加持方：指提供数据的一方。数据名称：选择已创建的数据。数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度，可点击数据分区后的图标...
- 产品推荐
- 这些文档可能帮助您