出错提示S3磁盘分区数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S3磁盘分区数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S3_*磁盘分区数据同步出错”。其中S3_*可能的错误码如下：S3_F30 S3_F32 S3_F6 S3_...
删除分区数据
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，ALTER TABLE DDL 删除分区数据的支持转换范围。总览 truncate_partition_subpart:TRUNCATE { partition_extended_names|subpartition_extended_names }[{ DROP...
API概览
本产品（数据湖构建/2020-07-10）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接...ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
修改、删除和新增分区
支持 truncate_partition_subpart 子句删除分区数据，详情请参见 删除分区数据。不支持的范围 不支持 modify_table_subpartition 子句修改子分区，会报错。不支持 modify_table_default_attrs 子句给表的属性指定新的默认值，会报错。不...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
出错提示S2磁盘分区文件数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”。其中S2_*可能的错误码如下：S2_R255 S2_R...
DropPartition
调用DropPartition删除分区信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
Hive数据源
基于Hive JDBC读取数据 Hive Reader插件通过Hive JDBC客户端连接 HiveServier2 服务读取数据。Hive Reader支持通过 where 条件过滤数据，并支持直接通过SQL读取数据。Hive Writer插件通过访问Hive Metastore服务，解析出您配置的数据表的...
Linux实例中数据恢复
背景信息 在Linux实例里，您可以选择以下任一种工具修复磁盘分区并恢复数据：fdisk：Linux系统默认安装的分区工具。testdisk：主要用于恢复Linux系统的磁盘分区或者数据。Linux系统默认不安装，您需要自行安装这个软件。例如，在CentOS系统...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，需先...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
分区表常见问题
当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。建议单表数据量超过1 TB或者1亿行尽量使用分区表。分区表创建多少个分区比较合适？在满足分区不超过8192个的前提下，根据业务场景和数据量决定分区数...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
JindoCube使用说明
删除分区数据。如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
数据变更最佳实践
通过 TRUNCATE TABLE db_name.table_name 删除指定表（包括所有二级分区）数据。批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
OPTIMIZE PARTITION
描述 如果从分区或子分区中删除了大量的行，或者对一个带有可变长度的行（即存在VARCHAR、BLOB或TEXT类型的列）进行修改，可以使用 ALTER TABLE…OPTIMIZE PARTITION 来回收任何未使用的空间和整理分区数据文件的碎片。语法 ALTER TABLE....
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA向Hive同步数据，数据精度丢失。SAP HANA中字段是decimal(11,2)。同步到Hive后，小数丢失，只有整数。问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
通过DELETE命令实现删除
通常 DELETE 语句需要指定表和分区以及删除的条件来筛选要删除的数据，并会同时删除BASE表和ROLLUP表的数据。使用方式 该语句用于按条件删除指定Table及其ROLLUP中的数据。语法 DELETE FROM table_name[PARTITION partition_name|...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
数据源Hive
本文为您介绍如何创建数据源Hive。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
分区索引
RANGE_TIME_PARTITION_TTL 否 表示保留多少天的分区数据，例如 RANGE_TIME_PARTITION_TTL='180'，表示保留半年的分区数据，历史分区数据会被自动清理掉。RANGE_TIME_PARTITION_FIELD_TIMEUNIT 否 表示业务指定的时间分区字段单位，默认单位...
分区
部分对分区操作的SQL的运行效率较低，会给您带来较高的费用，例如 插入或覆写动态分区数据（DYNAMIC PARTITION）。对于部分操作MaxCompute的命令，处理分区表和非分区表时语法有差别，详情请参见 表操作 和 INSERT操作。使用限制 单表分区...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
ListPartitionsProfile-获取分区数据概况
获取分区数据概况的详细信息。接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
Catalog概述
外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。当前StarRocks提供Internal Catalog和External ...
使用DLF元数据
E-MapReduce（简称EMR）的EMR-5.8.0及之后版本的集群（对应StarRocks 2.3及之后的版本）支持查询元数据类型为DLF的外表。...相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg数据源、Hudi数据源、Delta Lake数据源。
元数据管理常见问题
问题分析：由于删除OSS上的表数据之前，没有删除数据表对应的元数据，导致表的Schema还存在，但实际的数据已经不存在或已经移动到别的路径。解决方法：可以先修改表的Location为一个存在的路径，然后再删除表。alter table test set ...
CREATE TABLE
例如：RANGE_TIME_PARTITION_TTL='180' 表示保留半年的分区数据，历史分区数据会被自动清理掉。RANGE_TIME_PARTITION_MAX_OVERLAP 如果写入的数据时间点是将来的时间，这个参数表示写入的数据时间点与当前时刻的最大时间间隔，单位为天。...
- 产品推荐
- 这些文档可能帮助您