发布者最佳实践
默认情况下，云消息队列 Kafka 版 为了提升可用性，并不保证单个分区内绝对有序，在升级或者宕机时，会发生少量消息乱序（某个分区挂掉后把消息Failover到其它分区）。如果业务要求分区保证严格有序，请在创建Topic时选择使用Local存储。
Dataphin管道任务写入ClickHouse表，发现写入分区的...
概述 本文主要介绍管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量的原因。详细信息 Dataphin管道任务写入ClickHouse表，发现写入分区的数据量少于ClickHouse表分区总量，是什么原因？分析如下：出现这种写入量...
CREATE TRIGGER
在分区表上创建一个行级触发器将导致在它所有的现有分区上创建相同的触发器，并且以后创建或者挂接的任何分区也将包含一个相同的触发器。如果该分区与其父分区分离，则触发器将被删除。分区表上的触发器只能是 AFTER。修改分区表或者带有...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
动态过滤器（Dynamic Filter）
动态分区裁剪功能生效后，MaxCompute会采集小表侧数据生成Bloom Filter，然后过滤大表侧的分区列表，再把需要读取的分区列表聚合，裁剪掉不需要扫描的分区。如果一个运行进程所有待读的分区都被裁剪了，则该进程不被调度。在上述示例中，...
Dataphin资产质量调度日志中调度执行的分区为什么和...
概述 本文主要介绍资产质量调度日志中调度执行的分区和手动执行分区不一致的原因。详细信息 Dataphin资产质量调度日志中调度执行的分区为什么和手动执行分区不一致？原因如下：代码检查触发是基于代码中的分区日期来触发的。手动执行是按照...
Dataphin代码任务分区字段带引号查询表数据时result...
问题原因 分区字段的取值取了11位，导致分区后面多了一个空格。regexp_replace(SUBSTR(od1.paymentdate,1,11),'-','')解决方案 修改分区字段的取值范围，或者在查询的时候对ds分区字段进行RTRIM处理。SELECT*FROM LPPZ_ADS_BI_INST.ADS_CRM...
创建和管理自定义存储表
表类型 分区表 是 可选：分区表：适用于存储定时调度的数据，可设置每小时或者每天一个分区，对应的任务重跑后，会覆盖掉整个分区的数据。重要 如果您的自定义存储表每次调度产生数据超过3000万行时，为保障您的自定义存储表查询性能，建议...
何时使用Range-List分区
Range-List分区是指一级分区是Range分区，二级分区是List分区的组合分区类型。Range-List分区通常用于存储历史数据的大表，并且在多个维度上访问。数据的历史视图通常是一个访问路径，但是某些业务用例向访问路径添加了另一种分类。例如，...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
物化视图操作
指定表数据存储压缩策略"enable_auto_substitute"="true",-指定当分区不存在时是否转化视图来查询"enable_auto_refresh"="true",-指定是否开启自动刷新"refresh_interval_minutes"="120",-指定刷新时间间隔"only_refresh_max_pt"="true"-...
错误码表（2.0版）
18056 CTAS_INSERT_TIMEOUT schema=xxx table=xxx timeoutDuration=xxx CTAS_INSERT_THREAD_ERROR message=xxx 18057 SUBPARTITION column conflicts with PARTITION column 二级分区列与一级分区列冲突，请修改。18058 No column ...
创建服务器迁移任务
您可以单击 查看原因 了解迁移任务出错的原因，并根据原因排查问题。您也可以单击操作列，并单击 前往OOS查看历史验证 获取OOS模板的历史执行信息。查看目标实例 如果您选择操作系统迁移或者迁移的目标类型为云服务器实例时者，可以在操作...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
接口和参数说明
此外，若多次调用此接口会替换掉原来订阅的分区，并不会增量增加订阅分区的数量。void assign(Collection<TopicPartition>topicPartitions);拉取消息，单次最多拉取maxBatchMessageCount个消息，超时时间您可以自定义，单位为毫秒。List...
ALTER TABLE
alter table 只会影响分区表的新建分区（包括 insert overwrite 生成的），新分区将按新的聚簇属性存储，老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同...
上下游存储
问题原因 Kafka某个分区没有数据，会影响Watermark的产生，从而导致Kafka源表数据基于Event Time的窗口后，不能输出数据。解决方案 确保所有分区都存在数据。开启源数据空闲监测功能。在 其他配置 中添加如下代码后保存生效，具体操作请...
Dataphin管道任务是否支持数据数仓的动态分区
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
Linux实例SWAP分区的配置和常见问题处理
sysctl-p 常见问题处理 常见问题描述 使用mkswap创建SWAP时出现类似如下报错信息：mkswap:error:swap area needs to be at least 40 KiB 问题原因 指定的SWAP分区文件太小，SWAP分区文件至少应该大于40KB。解决方法 重新生成更大的文件格式...
DQL操作常见问题
原因二的解决措施：如果分区过大，需要调整分区个数，详情请参见 分区。原因三的解决措施：如果是由于小文件较多导致，请参见 小文件优化及作业诊断常见问题。在执行JOIN操作时，报错Both left and right aliases encountered in JOIN，...
Quick Audience数据导入中调度任务...提示表分区无数据
问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据是什么原因？问题原因 调度任务查询的分区日期是当天，而Dataphin中的业务数据日期是前一天。解决方案 数据导入的任务调度的分区日期与业务数据分区日期保持一致...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
ALTER TABLE
如果这个表是一个分区，对于在父表中被标记为 NOT NULL 的列，不能在其上执行 DROP NOT NULL。要从所有的分区中删除 NOT NULL 约束，可以在父表上执行 DROP NOT NULL。即使在父表上没有 NOT NULL 约束，这样的约束还是能被增加到分区上。也...
分区裁剪
静态分区裁剪 概述 如果分区约束为确定的表达式，在查询规划阶段就可以根据分区约束表达式裁掉不需要扫描的分区，这种在查询规划阶段做分区裁剪的方式称为静态分区裁剪。AnalyticDB PostgreSQL版 主要通过静态谓词确定何时使用静态裁剪。...
创建同步MaxCompute
分区模式 分区模式决定了将数据写入到MaxCompute哪个分区中，目前DataHub支持以下分区方式：分区模式 分区依据 支持Topic类型 说明 USER_DEFINE Record中的分区列（和MaxCompute的分区字段同名）的value值 TUPLE(1).DataHub schema中必须...
Dataphin资产元数据的分区记录数不准确
问题描述 Dataphin资产元数据的分区记录数不准确，显示为0，但是在即席查询中显示分区是数据的。问题原因 资产这里分区记录数是T+1更新的。由于ds='20220420'分区是2022041才产出的，因此是没有采集到的。解决方案 待T+1后就会更新ds='...
Logview诊断实践
解决措施：需要优化设计SQL，减少分区的数量，包括：分区裁剪、过滤掉不需要读的分区、把大作业拆成小作业。如何判断SQL中分区剪裁是否生效，以及分区裁剪失效的常见场景请参考文章：分区剪裁合理性评估。产生原因二：小文件过多。产生小...
Kafka Rebalancer工具介绍
kafka-producer-perf-test.sh-topic decommission-topic-num-records 70000000-throughput 200000-producer-props bootstrap.servers=core-1-1:9092-record-size 1000 将Broker 1上的分区副本都移除掉。kafka-rebalancer.sh-bootstrap-...
SQL其他常见问题
原因二的解决措施：如果分区列不合适，导致分区数量太多，请考虑更改分区列。如何非交互式运行MaxCompute SQL？在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
pg_partitioned_table
目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区...
Dataphin计算任务报错“Partition not found”
再仔细查看报错日志，发现真正引起报错的原因是操作二层分区数据的时候，分区值没有指定完整。解决方案 如果是多层分区的表，查询数据可以只指定一层分区信息就可以，但是操作表数据（增删改）需要将多个分区字段全部指定完整。适用于 ...
Hologres SQL语句的常见问题
例如分区定义的值为20240110，但是写入了其他分区值，导致了分区冲突，示例如下：CREATE TABLE public.tbl_20240110 PARTITION OF public.tbl FOR VALUES IN('20240110');INSERT INTO public.tbl_20240110 SELECT*FROM odps_tbl where sale...
修改部分索引
修改分区表上的部分索引，即在分区粒度上添加、重建和删除二级索引。语法 为分区添加部分索引。ALTER TABLE table_name ALTET INDEX index_name ADD PARTITION partition_name0[,.];重建分区上的部分索引。ALTER TABLE table_name ALTET ...
读数据表
本文介绍读数据表算子的...最新分区（仅MaxCompute）：在运行时，读取分区表的一级分区中分区值最大的分区里的数据，分区最大值按字母排序。区间：读取“开始分区”到“结束分区”之间的所有分区的数据。自定义：读取指定单个指定分区的数据。
分区表命令列表
本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...
- 产品推荐
- 这些文档可能帮助您