动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
Hologres结果表
Blink独享模式3.7版本支持自动创建Hologres分区表，但是您需要在作业中配置 createparttable='true'。同时，使用分区表的注意事项如下：Hologres当前仅支持List分区。创建分区表时，需要显示指定的分区列。目前仅支持 text 和 int4 类型的...
2024年
本文介绍 PolarDB PostgreSQL版 的产品功能动态，分别为内核小版本、...分区表支持任意列作为主键 2024年2月 缺陷修复 修复分区表全局索引相关缺陷和性能下降的问题。2024年2月 修复type body在指定Schema时调用构造函数报错的问题。2024年2月
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
2024年
修复分区表Alter Table与Analyze死锁的问题。修复分区表bitmap index scan触发Out Of Memory的问题。修复gpfdist外表在使用custom format时需要识别并处理字符串中的\0x00，否则读取数据会被截断的问题。2024年01月 V6.6.2.0 类别 功能 ...
Hologres数据源
配置分区表 说明 目前Hologres仅支持LIST分区，分区Column仅支持单个Column分区，且仅支持INT4或TEXT类型。请确认该参数和表DDL的分区配置匹配。配置从内存产生的数据同步至Hologres分区表的子表。{"type":"job","version":"2.0","steps":...
2023年
修复执行引擎处理分区表扫描的Dynamic Index Scan算子，在执行层内存泄漏的缺陷。修复ORCA优化器复制表Semi JOIN，在部分场景下结果错误的缺陷。修复向量数据库扩容过程中，构建ANN索引的表产生死锁的缺陷。修复增量排序Incremental Sort...
配置规则：按模板（批量）
根据您选择的表级规则模板和字段级规则模板，批量添加需要进行该规则校验的表或字段，添加后，请为分区表配置分区表达式。分区表达式用于确定校验数据的采样范围。对于非分区表，系统会默认配置为 NOTAPARTITIONTABLE。添加表或字段。单击 ...
通用批量导入服务
partition：非分区表为空，分区表配置分区信息。numPartitions：读取时的并发度。如果源数据源为HDFS数据源，CSV文件的读插件配置说明如下：filePath：CSV文件的所在目录。header：CSV文件是否包含header行。delimite：CSV文件分隔符。...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
分区表简介
从数据库管理员的角度来看，分区表具有多个部分，可以集中或单独管理。这为管理员在管理分区表方面提供了相当大的灵活性。然而，从应用程序的角度来看，分区表与非分区表是相同的；使用SQL查询和 DML语句访问分区表时无需进行任何修改。表...
分区表简介
从数据库管理员的角度来看，分区表具有多个部分，可以集中或单独管理。这为管理员在管理分区表方面提供了相当大的灵活性。然而，从应用程序的角度来看，分区表与非分区表是相同的；使用SQL查询和 DML语句访问分区表时无需进行任何修改。表...
CREATE PARTITION TABLE
CREATE PARTITION TABLE语句用于创建分区表。...动态分区管理 Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。关于动态分区的管理详情，请参见 动态分区管理。
Dataphin集成任务MaxCompute输出组件输出表存在多级...
概述 Dataphin集成任务MaxCompute输出组件输出表存在多级分区时如何填写分区配置。MaxCompute数据源如果建表时存在多级分区，同步数据到该表时分区配置应该如何填写？详细信息 支持配置多级分区，分区之间用逗号相隔。适用于 Dataphin
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
概述
分区表需要配置分区列。图中 wc_in1 为非分区表，wc_in2 为分区表。data 文件采用标准CSV格式存储表的数据：特殊字符为逗号（,）、单个双引号（"）和换行符（或 \r）。列分隔符为逗号（,），行分隔符为换行符（或 \r）。如果列内容包含特殊...
MySQL分区表写入最佳实践
为了在您使用MySQL处理庞大数据集时优化写入查询性能，本文详细介绍了DataWorks数据集成将数据写入MySQL分区表的最佳实践。前提条件 已具备MySQL数据库，并在DataWorks中添加为数据源。具体操作，请参见 MySQL数据源。准备工作 创建源表，...
2024年
2024年03月（V7.0.5.2）类别 功能 功能描述 相关文档 修复 修复beam分区表加列后分区主表reloptions不正确的问题。修复beam分区表包含多个子命令的alter后辅助表不一致的问题。2024年03月（V7.0.5.1）类别 功能 功能描述 相关文档 修复 ...
AUTO模式数据库与DRDS模式数据库
测试环境 PolarDB-X 实例规格：polarx.x4.2xlarge.2e CN (16C64G)×2 DN(16C64G)×2 版本：5.4.13-16415631 分区表和分库分表配置：分区表：32个分区 分区语句：partition by hash(id)partitions 32 表数据总量：16000W 分库分表：32个物理...
配置规则：按表（单表）
若规则监控的对象为分区表，则可配置分区表达式为业务日期格式的分区表达式。例如，dt=$[yyyymmdd]。不同类型分区表达式的格式及说明如下。分区表达式类型 分区表达式格式 说明 一级分区表达式 分区名=分区值 分区值可以是固定值，也可以是...
2021年
修复在分区表数量多的情况下，执行异常终止的问题。Laser计算引擎的使用 用户最大连接数 AnalyticDB PostgreSQL版 用户最大连接数提升：2C16G规格由300提升至550。4C32G规格由300提升至750。8C64G规格由400提升至950。约束与限制 AUTO ...
新建数据探查任务
探查分区 仅分区表需配置探查的分区范围。您可快捷选择已存在的指定分区（同数据表资产详情页面的明细信息-分区信息页签已生成的分区），也可手动填写表达式一次探查多个分区，例如：ds>'20230101' and(age>10 or age)and city in('beijing...
新建数据探查任务
探查分区 仅分区表需配置探查的分区范围。您可快捷选择已存在的指定分区（同数据表资产详情页面的明细信息-分区信息页签已生成的分区），也可手动填写表达式一次探查多个分区，例如：ds>'20230101' and(age>10 or age)and city in('beijing...
配置MaxCompute输出
分区讯息 为您展示MaxCompute分区表的信息。字段映射 单击 字段映射，设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。如果您需要新建表，请单击 一键建表 后，在 新建数据表 对话框中，配置各项参数。参数 描述 表...
MySQL整库周期性增全量同步至MaxCompute
当前整库离线同步仅支持MaxCompute目标表为分区表，不支持非分区表。配置全增量控制：配置任务的全增量类型。如果您的 同步步骤 勾选了 全量同步 和 增量同步，此处默认展示一次性全量，周期性增量，不可更改。如果您的 同步步骤 选择了 全...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
数据质量概述
使用场景 在离线数据校验场景下，数据质量通过表配置的分区表达式来匹配节点每天产出的表分区，数据质量规则关联产出该表数据的调度节点，当任务运行完成便会触发质量规则校验，您可以设置规则的强弱来控制节点是否失败退出，从而避免脏...
代码模式建模
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总...
配置示例：MaxCompute
配置分区表达式 数据质量通过分区表达式来确定需要配置的规则：如果您的检查对象为非分区表，可以配置分区表达式为 NOTAPARTITIONTABLE。如果您的检查对象为分区表，可以配置为业务日期的表达式（例如$[yyyymmdd-1]）。说明 数据质量规则中...
通过整库迁移配置集成任务
单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日同步+单次同步：默认为分区表，不支持选择...
添加及管理监控对象
批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错。批量管理质量负责人 支持批量 追加 或 修改 质量负责人。追加：若...
添加及管理监控对象
批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错。批量管理质量负责人 支持批量 追加 或 修改 质量负责人。追加：若...
配置集成管道质量监控
分区表达式 若数据表为分区表，需配置分区表达式，支持 分区表达式类型 和 自定义分区表达式。分区表达式详情请参见 内置分区表达式类型。分区预算 当前时间下，根据分析表达式的推算分区。单击 确定，完成质量规则配置。说明 质量规则配置...
配置集成管道质量监控
分区表达式 若数据表为分区表，需配置分区表达式，支持 分区表达式类型 和 自定义分区表达式。分区表达式详情请参见 内置分区表达式类型。分区预算 当前时间下，根据分析表达式的推算分区。单击 确定，完成质量规则配置。说明 质量规则配置...
通过整库迁移配置集成任务
单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日同步+单次同步：默认为分区表，不支持选择...
批量上传质量规则
批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将...
批量上传质量规则
批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
- 产品推荐
- 这些文档可能帮助您