从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS同步到云原生数据仓库AnalyticDB MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
验证分析型查询请求能力
联接语句的含义是把两张表的属性通过它们的值组合在一起。更多内容参见 JOIN 子句。操作步骤 打开新的 SQL 窗口并单击 请选择数据库，进入 tutorial_database 数据库。执行如下命令，将 orders 表与自身聚合 20,000*20,000 行数据的笛卡尔...
功能介绍
风险与解决方案 风险 传统数据库运维模式下，数据库管理员DBA（Database Administrator）拥有的权限过高且集中，容易在某些场景下给业务带来风险：DBA误判导致系统安全事故。DBA出于某种目的进行非法操作。DBA、第三方外包人员或程序开发...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除同步失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据同步任务。...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除迁移失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据迁移任务。...
通过一键建仓同步至数仓版
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除同步失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据同步任务。...
通过一键建仓同步至数仓版
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除同步失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据同步任务。...
RDS MySQL迁移至AnalyticDB MySQL 3.0
通过INSERT INTO SELECT命令，将customer表的数据复制并插入到新创建的customer_new表中，确保两张表的数据保持一致。重命名或删除迁移失败的表customer，然后将customer_new表的名称修改为customer。在DTS控制台，重新启动数据迁移任务。...
性能测试工具-Shell
测试过程中可能会删除再创建这两张表。请确保这两张表可以安全地被删除。测试压力可能将被测系统压垮，请勿在生产环境中运行该测试工具。确保测试集群有足够的存储空间。ECS为虚拟运行环境，同一机型下的性能测试结果可能存在5%～10%的波动...
无锁结构变更方案对比
锁 触发器将两张表的操作关联到一个事务空间中，所以锁的竞争会增加，即一个事务中的两张表锁并集。触发器的设计中拷贝数据和变更数据只能并行，无疑将会增加锁竞争。无触发器解耦了源表和目标表的依赖，所以锁竞争也就不复存在。关于目标...
使用ETL分析实时订单
Right Join：在左表中获取两张表的交集，在右表中获取所有数据。Join条件+新增条件 单击+新增条件，选择JOIN的条件字段。说明 等号（=）左侧为JOIN后新表的左表字段，右侧为JOIN后新表的右表字段。完成Join条件配置后，单击 输出字段 页签...
ST_ImportOSGB
导入成功后会在数据库内生成两张表：主表 表名格式：[table_name]说明：存储倾斜摄影项目的元数据信息。表结构：字段 类型 说明 project_id uuid 项目ID，自动生成。project_name text 项目名称。若用户不指定 project_name，则该列值为空...
ST_ImportOSGB
导入成功后会在数据库内生成两张表：主表 表名格式：[table_name]说明：存储倾斜摄影项目的元数据信息。表结构：字段 类型 说明 project_id uuid 项目ID，自动生成。project_name text 项目名称。若用户不指定 project_name，则该列值为空...
性能测试工具-图形工具
测试过程中可能会删除再创建这两张表。请确保这两张表可以安全地被删除。确保被测实例有足够的存储空间。ECS为虚拟运行环境，同一机型下的性能测试结果可能存在5%～10%的波动，处于预期范围之内。启动服务前，确保已配置ECS安全组，并允许...
Bucket Shuffle Join
本文介绍 云数据库 SelectDB 版 支持通过Bucket Shuffle Join进行查询优化，能够减少数据在节点间的传输耗时和Join时的内存开销，进而优化查询性能。功能简介 Bucket Shuffle Join旨在为某些Join查询提供基于本地的优化，减少数据在节点间...
EXCHANGE PARTITION
说明 执行EXCHANGE PARTITION操作时，需要确保 source_table 的结构与 target_table 的结构一致，即两张表必须有相同的列、数据类型、引擎、表属性以及索引。使用限制 若分区表或者单表通过 INSTANT ADD COLUMN 语句添加过字段，则不能使用...
配置流程
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
创建触发器
创建下述两张表，用于记录 DDL 事件变更。非 DROP DDL 事件信息表-postgreSQL DDL EVENT TABLE-CREATE TABLE public.oms_non_dropped_ddl_command(id bigserial primary key,ddl_text text COLLATE pg_catalog."default",tag text COLLATE ...
FineReport
导入两张表d1和d2。d1按照商品种类、合同种类、付款种类分组，取每组销量最大值：select product_type,payment_type,contract_type,max(purchase_amount)as max_amount from demo_contract group by product_type,payment_type,contract_...
通过Flink SQL模式配置ETL任务
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
Join优化
例如两张表；表S和表R需要做Join，并且Join列是表S的分桶列，那么表S的数据其实可以不需要移动，通过移动分发表R的数据就可以完成Join的计算。它的网络开销是 T(R)，相当于只Shuffle表R的数据就可以完成Join。有关Bucket Shuffle Join使用...
V5.1.x系列实例版本说明
新增拆分函数UNI_HASH能让分库数一样的两张表的JOIN保持为非跨库JOIN，不再受到分表数目的影响。增加支持ISNULL()函数。支持只读库因同步延迟过大自动切断流量并回流主库的功能。性能优化 优化权限相关的SQL错误提示，与MySQL保持一致。...
表结构说明
系统启动时会自动创建这两张表，无需您手动创建。mysql.dlm_policies表 表 mysql.dlm_policies 主要用于记录当前集群上所有可用的DLM策略。表结构 CREATE TABLE `dlm_policies`(`Id` bigint(20)NOT NULL AUTO_INCREMENT,`Table_schema` ...
扫描全部/部分分库分表
注意：使用该自定义注释需要保证两张表的分库和分表数量一致，否则 PolarDB-X 计算出的两个键值对应的分库不一致，就会报错。在指定分库分表上执行，显式指定物理表名：SELECT/*+TDDL:scan('t1',real_table=("t1_00","t1_01"))*/COUNT(1)...
扫描全部/部分分库分表
注意：使用该自定义注释需要保证两张表的分库和分表数量一致，否则 PolarDB-X 1.0 计算出的两个键值对应的分库不一致，就会报错。在指定分库分表上执行，显式指定物理表名：SELECT/*+TDDL:scan('t1',real_table=("t1_00","t1_01"))*/COUNT...
ACL权限体系
以下列出AnalyticDB for MySQL 2.0的权限对象和各对象权限：Database（库），即 db_name.*或*（默认数据库），指定数据库或数据库上所有表/表组。TableGroup（表组），即 db_name.table_group_name 或 table_group_name，特定表组。Table...
创建数据库
若要使用云数据库RDS，您需要在实例中创建数据库。...如果您使用 一键上云 等迁移方式将本地自建数据库迁移上云时，表空间将与本地自建数据库表空间名称相同，支持将数据库和表的表空间修改为 pg_default。下一步 连接PostgreSQL实例。
MySQL分库分表同步至Hologres（方案1.0）
业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，分表分别对应两种逻辑表。现在需要将这12张分库分表的历史全量数据一次性迁移到Hologres对应...
MySQL分库分表同步至Hologres（方案2.0）
业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，分表分别对应两种逻辑表。现在需要将这12张分库分表的历史全量数据一次性迁移到Hologres对应...
RevokePrivileges
移除某个用户的某个权限 请求参数 名称 类型 是否必选 示例值 描述 PrivilegeBag Object 是 权限信息 HiveObjectPrivilege Array 是 权限信息的数组 HiveObjectRef Object 是 表明授权的粒度 DbName String 是 db001 数据库名称，如果需要...
数据库存储
} }/*数据库更新时的回调函数*@param database 数据库*@param connectionSource 连接*@param oldVersion 旧数据库版本*@param newVersion 新数据库版本*/Override public void onUpgrade(MPSQLiteDatabase database,ConnectionSource ...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建整库迁移 页面。在 新建...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
数据存储
其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把审计日志记录的简要明细信息进行多维的聚合后，生成实例的画像表信息，存储在画像表中。查询详情日志被分解为查询级别统计信息表、子任务级别统计...
DescribeDatabases-查询数据库列表
对于 MySQL 模式，角色为数据库（Database）级别，其有以下几类：ReadWrite：读写权限，包括 ALL PRIVILEGES；ReadOnly：只读权限，包括 SELECT；DDL:DDL 权限，包括 CREATE,DROP,ALTER,SHOW VIEW,CREATE VIEW；DML:DML 权限，包括 SELECT,...
将RDS PostgreSQL作为RDS MySQL实时分析库
背景信息 当需要使用RDS PostgreSQL数据库特有的功能来分析MySQL中的数据，使用GIS处理时空数据或进行用户画像分析时，可以使用DTS功能将RDS MySQL中的数据实时迁移到RDS PostgreSQL数据库中，使PostgreSQL数据库作为MySQL的实时分析库。...
跨Schema
使用示例 假设在某一 PolarDB-X 1.0 实例中，您创建了3个不同的数据库，每个数据库内分别有一张表，且每张表均有各自对应的Sequence，各个数据库、表和Sequence的详情如下所示：SchemaName TableName Sequence new_db new_tbl AUTO_SEQ_new...
- 产品推荐
- 这些文档可能帮助您