DROP TABLE
删除非分区表或分区表。注意事项 请谨慎操作，确认表可以删除后，再执行删除操作。如果误删了表，当项目开启了备份恢复功能，且删除操作未超过项目设置的备份数据保留天数时，则可以恢复表。更多备份恢复信息，请参见 备份与恢复。删除表...
Dataphin中物理表丢失问题
问题原因 由于创建非分区表的时候，误设置表生命周期，到期后自动回收了。新建test_lifecycle表，生命周期为100天。create table test_lifecycle(key string)lifecycle 100;解决方案 1.建非分区表时，不设置生命周期。2.对已经创建带生命...
如何实现一键转冷存
函数介绍 polar_alter_relation_to_oss 该函数将对象（非分区表、子分区表、索引）转为OSS存储。语法 void polar_alter_relation_to_oss(text relname);参数 参数名称 描述 relname 对象（表\索引）名称 说明 如果是非分区表或子分区表，则...
ACID语义
数据对象：指持有实际数据的对象，例如非分区表、分区。INTO类作业：指INSERT INTO、DYNAMIC INSERT INTO等包含关键字INTO的SQL作业。OVERWRITE类作业：指INSERT OVERWRITE、DYNAMIC INSERT OVERWRITE等包含关键字OVERWRITE的SQL作业。...
TRUNCATE
清空非分区表里的数据 将指定的非分区表中的数据清空。如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中...
从MaxCompute批量导入导出
use exdb#exdb是HybriDB for MySQL中用户数据库的名称#MaxCompute非分区表对应的外表 CREATE TABLE IF NOT EXISTS odps_nopart_import_test_external_table(uid string,other string)ENGINE='ODPS' TABLE_PROPERTIES='{"endpoint":...
全局索引
性能测试 使用pgbench工具产生scale为 80000 的数据，分别创建分区表与非分区表。非分区键上的点查性能 类别 TPS Prepared Statement 不使用 使用 并发数 1 32 64 1 32 64 普通表 27,732 494,433 430,848 53,935 985,880 886,882 分区表+...
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
DDL语句
创建非分区表的示例如下所示：创建表类型为 cow，主键为 id 的非分区表。create table if not exists h0(id bigint,name string,price double)using hudi options(type='cow',primaryKey='id');创建表类型为 mor，主键为 id 和 name 的非...
DML语句
INSERT INTO 表示向分区表或非分区表插入数据。代码示例如下所示：向非分区表 h0 中插入数据。insert into h0 select 1,'a1',20;向静态分区表 h_p0 中插入数据。insert into h_p0 partition(dt='2021-01-02')select 1,'a1';向动态分区表 h_...
DDL操作常见问题
如何将非分区表修改为分区表？因误操作删除的表可以恢复吗？如何查询某个用户创建的表？如何查看指定的表是否存在？如何获取项目下的所有表名称？如何快速查看项目下哪些表是分区表？如何查看MaxCompute表的最近访问时间？如何查看表的数据...
使用存储过程将数据导入Hologres内部表（Beta）
使用示例 示例1：MaxCompute非分区表数据导入Hologres 准备MaxCompute的非分区表数据。在MaxCompute中创建一张非分区源数据表，或直接选用已创建的非分区表。示例选用MaxCompute公告数据集 public_data 项目下的 customer 表数据，其表DDL...
CREATE TABLE AS
使用示例 将非分区表复制成一张新的非分区表。准备一张源表和数据。BEGIN;CREATE TABLE public.src_table("a"int8 NOT NULL,"b"text NOT NULL,PRIMARY KEY(a));CALL SET_TABLE_PROPERTY('public.src_table','orientation','column');CALL ...
分区表简介
然而，从应用程序的角度来看，分区表与非分区表是相同的；使用SQL查询和 DML语句访问分区表时无需进行任何修改。表的每个分区必须具有相同的逻辑属性，例如列名、数据类型和约束，但每个分区可以具有单独的物理属性，例如启用或禁用压缩、...
分区表简介
然而，从应用程序的角度来看，分区表与非分区表是相同的；使用SQL查询和 DML语句访问分区表时无需进行任何修改。表的每个分区必须具有相同的逻辑属性，例如列名、数据类型和约束，但每个分区可以具有单独的物理属性，例如启用或禁用压缩、...
分区和列操作
列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。删除列 删除已存在的非分区表或分区表的列。更改列数据类型 更改已存在列的数据类型。修改列的顺序 调整表中指定列的顺序。修改列名 为已存在的非分区表或分区表修改列名称。...
CREATE PARTITION TABLE
分区表的任何一个子表在元数据存储上等同于一个非分区表，因此分区多会造成一定程度的元数据膨胀，以及小文件碎片。如果您的数据来源于数据库，不建议使用分区表。过多的分区会引起额外的IO资源浪费，为改善此问题并实现索引过滤加速查询的...
数据分层存储
非分区表 指定非分区表的存储策略 如果是非分区表，可以通过 SET_TABLE_PROPERTY 来设置表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将tbl1设置为使用冷存存储，代码如下：建表时指定存储策略为冷存储 BEGIN;CREATE ...
生命周期
对于非分区表，如果表数据在生命周期内没有被修改，经过指定天数后此表将会被MaxCompute自动回收（类似DROP TABLE操作）。生命周期从最后一次表数据被修改的时间（LastModifiedTime）开始计算。对于分区表，每个分区可以分别被回收。在生命...
CREATE PUBLICATION
启用此功能可以将更改复制到非分区表或由一组不同的分区组成的分区表中。如果启用此功能，则不会复制直接在分区上执行的 TRUNCATE 操作。说明 如果既没有指定 FOR TABLE，也没有指定 FOR ALL TABLES，那么这个发布就是以一组空表开始的。这...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
批量上传质量规则
批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将...
批量上传质量规则
批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将...
ALTER TABLE
说明 通过 alter table 改变聚簇属性，只对分区表有效，非分区表一旦建立聚簇属性就无法改变。alter table 语句适用于存量表，在增加了新的聚簇属性后，新的分区将按设置的聚簇属性存储。alter table 只会影响分区表的新建分区（包括 ...
快速入门
records=[[111,'aaa'],[222,'bbb'],[333,'ccc'],[444,'中文']]o.write_table(table,records)#读取非分区表my_new_table中的数据。for record in o.read_table(table):print(record[0],record[1])#以运行SQL的方式读取表中的数据。result=o....
DDL语句
是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持删除聚簇属性 重命名表 是 删除表 是 查看表或视图信息 是 查看分区信息 是 列出项目空间下的表和试图 是 列出所有分区 是 修改表的所有人 否 清空非分区表里的数据 ...
DDL语句
是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持删除聚簇属性 重命名表 是 删除表 是 查看表或视图信息 是 查看分区信息 是 列出项目空间下的表和视图 是 列出所有分区 是 修改表的所有人 否 清空非分区表里的数据 ...
通过整库迁移配置集成任务
选择非分区表，目标表将创建为非分区表。单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日...
分区
对于部分操作MaxCompute的命令，处理分区表和非分区表时语法有差别，详情请参见 表操作 和 INSERT操作。使用限制 单表分区层级最多为6级。单表分区数最大值为60000个。单次查询允许查询最多的分区个数为10000个。STRING分区类型的分区值不...
CLONE TABLE
id|total_price|sale_date|region|+-+-+-+-+-+|s1|c1|100.1|2013|china|s2|c2|100.2|2013|china|s3|c3|100.3|2013|china|null|c5|NULL|2014|shanghai|s6|c6|100.4|2014|shanghai|s7|c7|100.5|2014|shanghai|+-+-+-+-+-+非分区表sale_detail...
分区和列操作
添加列名或注释 为已存在的非分区表或分区表添加列或注释。修改列名或注释 修改非分区表或分区表的列名或注释。添加分区 为已存在的分区表新增分区。限制条件 MaxCompute单表支持的分区数量上限为6万个。对于有多级分区的表，如果需要添加...
创建表
表的列字段 从示例数据中识别表列字段信息如下：非分区表的列字段包含：age：年龄 job：工作类型 marital：婚否 education：教育程度 credit：是否有信用卡 housing：是否有房贷 loan：是否有贷款 contact：联系方式 month：月份 day_of_...
全局索引
非分区表，包括分区表的子表上不支持创建Global Index。Global Index不支持表达式索引。Global Partitioned Index支持将Global Index进行range或hash分区，分区的语法和partition table类似。Global Partitioned Index不支持按照List分区。...
调试指南
这些操作包括：非分区表：对其进行选取全部或有限条数据、列筛选的操作（不包括列的各种计算），以及计算其数量。不选取分区或筛选前几个分区字段的分区表：对其选取全部或有限条数据、列筛选的操作，以及计算其数量。例如 iris 这个...
拆分
输出表2为非分区表 fraction 否 切分至输出表1的数据比例，取值范围为(0,1)。无 randomSeed 否 随机数种子，取值范围为正整数。系统自动分配 idColName 否 ID列（ID相同的数据不会被拆分）无 thresholdColName 否 阈值所在列名，不支持...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
CLONE TABLE
id|total_price|sale_date|region|+-+-+-+-+-+|s1|c1|100.1|2013|china|s2|c2|100.2|2013|china|s3|c3|100.3|2013|china|null|c5|NULL|2014|shanghai|s6|c6|100.4|2014|shanghai|s7|c7|100.5|2014|shanghai|+-+-+-+-+-+非分区表sale_detail...
INSERT OVERWRITE
场景三：Hologres向MaxCompute的非分区表导入数据 如果您需要从Hologres向MaxCompute的非分区表导入数据，建议采用临时表导入的方式，导入完成后将临时表改名为正式表即可。此场景使用示例如下所示，将Hologres中holotable表的数据写入...
概述
图中 wc_in1 为非分区表，wc_in2 为分区表。data 文件采用标准CSV格式存储表的数据：特殊字符为逗号（,）、单个双引号（"）和换行符（或 \r）。列分隔符为逗号（,），行分隔符为换行符（或 \r）。如果列内容包含特殊字符，需要在该列内容...
使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移
支持分区表和非分区表，支持对聚簇表使用 clone table 命令复制表数据。目标表已存在时，一次性复制分区的数量上限为10000个。目标表不存在时，无分区数量限制，满足原子性。对同一个非分区表或分区表的同一个分区，执行 clone table 命令...
- 产品推荐
- 这些文档可能帮助您