最佳实践

如果不需要更改架构,则可以从Delta删除数据插入新数据,或者更新以修复不正确的值。如果要更改架构,则可以atomic替换整个。例如:dataframe.write \.format("delta")\.mode("overwrite")\.option("overwriteSchema","true...

表删除,更新和合并

因此,在合并到表之前,对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录,则可以通过按日期对表进行分区,然后指定要匹配的目标的日期范围来进一步优化查询。SQl%sql MERGE INTO logs USING newDedupedLogs ON logs....

输出数据

将经过加工的数据执行落库操作,您可以选择输出数据至已有的目标数据库表中(每次写入会删除表中原数据,并插入新数据),也可以输出数据至新建的数据库表中,还可以输出数据至数据集中。前提条件 已完成数据加工的配置,请参见 数据加工。...

数据脱敏

在目标增加新数据。建议选择该选项。行冲突解决方式 是 中的行内容存在冲突的情况下处理的方式。可选项:保留目标冲突行,丢弃新插入数据。建议选择该选项。删除目标冲突行,新插入新增数据。单击 提交。单击新创建的脱敏任务 操作...

语法

语法 INSERT[INTO|OVERWRITE]table_name[(column[,.])]query INSERT INTO用于插入新数据,而INSERT OVERWRITE用于覆盖老数据插入新数据,执行完成之后的效果是老数据全部被删除中的数据变成了新数据。目前只有OSS数据源支持INSERT ...

元数据管理常见问题

问题分析:由于删除OSS上的表数据之前,没有删除数据表对应的元数据,导致表的Schema还存在,但实际的数据已经不存在或已经移动到别的路径。解决方法:可以先修改表的Location为一个存在的路径,然后再删除表。alter table test set ...

REPLACE SELECT FROM

如果不存在,则直接插入新数据。语法 REPLACE INTO table_name[(column_name,.)]query;参数 query:可以是 SELECT FROM TABLE 或者 SELECT FROM VIEW。column_name:列名,如果需要将源中的部分列数据插入到目标中,SELECT 子句中的列...

回收站列表

您在治理工作台中删除数据表的时间即为回收站中的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复,请您谨慎操作。在 回收站列表 页面,单击需要删除表所在行的 操作 列下 图标。...

使用SQL管理外部项目

本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的表进行管理,例如查询或更新表数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后,可以使用SQL方式操作External Project,场景如下...

Flink_SQL任务开发方式

使用示例 若您需要将 example 项目计算源中的 test 物理表数据插入到 test_demo 物理表中。您可以参考以下示例代码:insert into test_demo select id,name from example.test;Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在...

INTERVAL RANGE简介

简介 向RANGE分区表插入数据时,如果插入的数据超出当前已存在分区的范围,将无法插入并且会返回错误;而对于INTERVAL RANGE分区,当插入的数据超过现有分区的范围时,允许数据库自动创建分区,根据INTERVAL子句指定的范围来新增分区...

元数据管理

元数据管理是构建数据湖重要一环,通过有效集中式的元数据管理,可以提升数据资产价值。您可以使用该功能管理元数据...说明 在DLF页面删除数据表后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。

数据归档至RDS MySQL

注意事项 若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为安全协同或稳定变更,才可执行周期归档任务。若您仅需要单次执行归档任务,则不...

数据归档至PolarDB MySQL版

注意事项 若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为安全协同或稳定变更,才可执行周期归档任务。若您仅需要单次执行归档任务,则不...

数据归档至AnalyticDB PostgreSQL版

若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。支持存储弹性模式和Serverless模式两种实例资源类型的 AnalyticDB PostgreSQL版。源库和目标库的管控模式均为安全协同...

数据归档至AnalyticDB MySQL 3.0

注意事项 若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。源库和目标库的管控模式均为安全协同或稳定变更,才可执行周期归档任务。若您仅需要单次执行归档任务,则不...

同数据库归档

若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。实例的管控模式为安全协同或稳定变更,才可执行周期归档任务。若您仅需要单次执行归档任务,则不限制数据库的管控模式...

数据归档至Lindorm

清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见 普通数据变更。源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见 通过无锁变更工单实现无锁结构变更。若您...

数据归档至Lindorm

清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见 普通数据变更。源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见 通过无锁变更工单实现无锁结构变更。若您...

数据归档至专属存储

本文为您介绍如何将数据归档至专属存储中(存储在 DMS)、将专属存储的数据转存至...Q:在RDS数据库归档至专属存储过程中,勾选了源表数据清理后,产生的备份临时表数据会占用多少源库空间?A:临时表数据最多会占用源库中已占用空间的一倍。

DML差异

REPLACE的运行与INSERT完全相同,不同之处在于,如果中的旧行与PRIMARY KEY或UNIQUE索引的新行具有相同的值,则在插入新之前删除该旧行。SELECT,详情请参见 语法。SELECT.INTO 不支持 使查询结果可以存储在变量中或写入文件。JOIN ...

数据归档至DBS内置OSS

本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库:MySQL类型:RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...

使用DMS进行数据归档

注意事项 若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。支持存储弹性模式和Serverless模式两种实例资源类型的 AnalyticDB PostgreSQL版。推荐您使用资源类型为...

逻辑DML操作

本文为您介绍逻辑DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table[partition()](,...不指定字段时,先清空目标的全部数据,再插入新数据。指定字段时,先清空目标字段的全部数据,非目标字段的数据保留。

PyMySQL 连接 OceanBase 数据库示例程序

本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序,实现基本的数据库操作,包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...

数据脱敏

用户在执行查看表数据、SQL 窗口查询、结果集导出、导出工单、数据库变更工单操作时,包含的敏感列输出为脱敏数据。前提条件 项目管理员或者 DBA 支持管理敏感列和识别规则。所有用户均可查看、测试脱敏效果,不允许新建、编辑或者删除脱敏...

RDS MySQL迁移至AnalyticDB MySQL 3.0

在 AnalyticDB MySQL 3.0中创建一个新表(customer_new),表结构与customer表保持一致。通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。重命名或删除迁移失败的表...

RDS MySQL迁移至云原生数据仓库 AnalyticDB ...

在 AnalyticDB PostgreSQL版 中创建一个新表(customer_new),表结构与customer表保持一致。通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。重命名或删除迁移失败的表...

Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序

删除表 t1。如果删除失败,则返回错误信息。代码如下:_,err=db.Query("drop table t1")if err!nil { log.Fatal(err)} 完整的代码展示 go.mod module go-oceanbase go 1.20 require github....

PolarDB MySQL版迁移至AnalyticDB MySQL 3.0

在 AnalyticDB MySQL 3.0中创建一个新表(customer_new),表结构与customer表保持一致。通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。重命名或删除迁移失败的表...

PolarDB MySQL版同步至AnalyticDB MySQL 3.0

在 AnalyticDB MySQL 3.0中创建一个新表(customer_new),表结构与customer表保持一致。通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。重命名或删除同步失败的表...

RDS MySQL同步至AnalyticDB MySQL 3.0

在 AnalyticDB MySQL 3.0中创建一个新表(customer_new),表结构与customer表保持一致。通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。重命名或删除同步失败的表...

操作项目权限

表类型为 物理表 时:支持选择 查表数据、改表数据删除表、改表结构。表类型为 元表、镜像表 时,支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定,完成项目权限的授权。回收项目权限 按照下图指引,进入 项目...

操作项目权限

表类型为 物理表 时:支持选择 查表数据、改表数据删除表、改表结构。表类型为 元表、镜像表 时,支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定,完成项目权限的授权。回收项目权限 按照下图指引,进入 项目...

数据集成调度策略说明

源表不能存在外键约束,否则可能导致数据迁移失败(可能在目标库中先更新有外键约束的子表,后更新附表,导致子表插入新数据报错)。无法迁移被物理删除的数据(例如通过DELETE、TRUNCATE命令删除)。说明 如果存在无主键的表,DTS会将整条...

DDL差异

ALTER TABLESPACE 不支持 修改空间,添加新数据文件或从空间删除数据文件。ALTER VIEW 不支持 修改视图的定义。CREATE DATABASE 支持,详情请参见 CREATE DATABASE。说明 云原生数据仓库AnalyticDB MySQL中会忽略CHARACTER SET及...

Hudi概述

Trade-off Snapshort Queries Read Optimized Queries Data Latency 低 高 Query Latency 对于MOR类型,高 低 应用场景 近实时数据摄取 Hudi支持插入、更新和删除数据的能力。您可以实时摄取消息队列(Kafka)和日志服务SLS等日志数据至...

DML操作常见问题

MaxCompute SQL中使用到新数据类型(TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY)时,需要执行如下语句开启新数据类型开关:Session级别:如果使用新数据类型,您需要在SQL语句前加上 set odps.sql.type.system.odps2=...

授权与回收权限

表类型为 物理表 时:支持选择 查表数据、改表数据删除表、改表结构。表类型为 元表、镜像表 时,支持选择 查表数据、改表数据。授权原因 填写授予表权限的原因。单击 确定,完成表权限的授权。批量回收表权限 按照下图操作指引,进入 ...

申请、续期和交还权限

权限申请说明 当申请改表结构、改表数据删除表权限时,仅支持表级权限,有任意字段命中申请的权限类型不可申请时,即不可申请该权限类型。针对查表数据权限,若部分字段命中不可被申请权限规则,则不可申请表级权限,可申请字段级权限;...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用