DQL操作常见问题
横向合并可以通过 row_number 函数实现，两个表都新加一个ID列，进行ID关联，然后取两张表的字段。更多信息，请参见 并集 或 ROW_NUMBER。在执行UNION ALL操作时，报错ValidateJsonSize error，如何解决？问题现象 执行包含200个UNION All...
Quick BI v3.11.0版本说明
分页实现 1W条在前端分页，会导致分页与合并同类单元格等功能不可用。后端分页，单击下一页会重新触发取数查询，合并同类单元格只是一种展示。结果有差异，合并同类格场景下有差异，保证数据展示的正确性。请参见 新交叉表。新增LBS符号...
分区热力图
当采集的原始分区总数量超过1600时会对分区统计信息进行合并（不会对原分区造成影响，只合并热力统计信息），仅当被合并分区属于同一DN节点且属于同一逻辑表时才能进行合并，数据量越小的分区合并范围越大，当合并后的总分区数仍然超过3200...
分区热力图
当采集的原始分区总数量超过1600时会对分区统计信息进行合并（不会对原分区造成影响，只合并热力统计信息），仅当被合并分区属于同一DN节点且属于同一逻辑表时才能进行合并，数据量越小的分区合并范围越大，当合并后的总分区数仍然超过3200...
Slowly Changing Dimension
流式写入 CREATE TABLE IF NOT EXISTS gscd_kafka_table USING kafka OPTIONS(kafka.bootstrap.servers='localhost:9092',subscribe='xxxxxx');CREATE SCAN gscd_stream ON gscd_kafka_table USING STREAM OPTIONS(`watermark.time`='floor...
迁移HBase至Hologres
相比传统的HBase等技术，Hologres保留了横向扩展能力和高性能的主键点查能力，同时解决了Schema Free带来的数据质量管理难题，也通过更少的外部依赖提升了系统的稳定性。支持宽表设计、多流合并、前缀扫描（Prefix Scan）等多种HBase常用...
Hudi
同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理数据插入和更新时，不会创建过多的小文件，引发查询端性能降低，避免手动监控和合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表和结果表 ...
数据同步
数据同步是指数仓或者数据湖内的数据与上游业务库内的数据保持同步的状态。当上游业务库内的数据发生变更之后，下游的数仓/数据湖立即感知到数据变化，并将数据变化同步过来。在数据库中，这类场景称为Change Data Capture（CDC）场景。...
FineReport
给单元格添加一个普通条件，将ds2与ds1的商品种类、合同种类两个字段进行绑定，实现两个数据集之间的关联。图表设计：合并A7~D15单元格，选择菜单栏 插入>单元格元素>插入图表。选择 柱形图>柱形图，单击 确定。选中图表，在右边属性面板...
自助健康检查常用命令
检查不同Schema下的内部表数量 select table_namespace as schema,count(distinct table_name)as total_tables,count(distinct table_name)filter(where property_key='storage_format')as inner_tables from hologres.hg_table_properties...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。本文以具体示例为您介绍 clone table 功能的使用。功能介绍 clone table 支持高效地将源表中的数据复制到目标表中。将数据复制到...
大版本升级最佳实践
'indexes','parameter_type_elements','parameters','resource_groups','routines','schemate','st_spatial_reference_systems','table_partition_systems','table_partition_values','table_partitions','table_states','tables','...
大版本升级最佳实践
本文介绍 PolarDB MySQL版 的5....Table|Create Table|+-+-+|t1|CREATE TABLE `t1`(`c1` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci|+-+-...
PolarDB数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
PolarDB数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
RDS数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
RDS数据源配置
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
图解MySQL 8.0优化器查询解析篇
对父查询的所有相关数据结构进行重新计算（leaf_table_count，derived_table_count，table_func_count，materialized_derived_table_count，has_sj_nests，has_aj_nests，partitioned_table_count，cond_count，between_count，select_n_...
3D环图
小数合并：限制展现的切片数量，并将剩下的切片合并成一个总的切片，同时可以设置合并后的分类名。单击 图标可开启或关闭小数合并。环图标注：环图的标注样式，单击 图标，控制环图标注配置项的显隐。参数 说明 类型 标注的 数据类型 和 ...
AUTO模式核心特性及典型场景
热点分裂——有效解决数据热点 对于热点数据，PolarDB-X 支持两种处理方式：第一种方案是将热点数据所在的分区数据迁移到特定的数据节点，让热点数据以独享存储资源的方式服务业务，能够实现热点数据不影响非热点数据的业务。具体操作步骤...
ALTER TABLE
命令格式 alter table<table_name>changeowner to;参数说明 table_name：必填。待修改Owner的表名。new_owner：必填。修改后的Owner账号。使用示例-将表test1的所有人修改为ALIYUN$xxx@aliyun.com。alter table test1 changeowner to '...
使用批量更新
true->Table Scan on source_table(cost=0.00.431.00 rows=25 width=8)->Index Scan using target_table_pkey on target_table(cost=0.00.150.01 rows=1 width=14)Index Cond:public.target_table.c1=source_table.c1 可以看到，AnalyticDB...
继承
ALTER TABLE 对于重名列的合并和拒绝遵循与 CREATE TABLE 同样的规则。继承的查询仅在附表上执行访问权限检查。例如，在 cities 表上授予 UPDATE 权限也隐含着通过 cities 访问时在 capitals 表中更新行的权限。这保留了数据（也）在父表中...
列存索引中GroupJoin算子的实现
INNER JOIN/GROUP BY RIGHT 此场景如下SQL所示：l_table INNER JOIN r_table ON l_table.key1=r_table.key1 GROUP BY r_table.key1 考虑到l_table.key1=r_table.key1，这种情况被归到“INNER JOIN,GROUP BY LEFT”里。LEFT OUTER JOIN/...
数据模型
基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column），Row即您数据表中的一行数据，Column用于描述一行数据中不同的字段。Column可以分为两大类：Key和Value。从业务角度看...
UPDATE
update table1 set col1=(select value1 from table2 where table1.id=table2.id and table1.region=table2.region);不推荐方案。update table1 set col1=1 where id='2021063001'and region='beijing';update table1 set col1=2 where id=...
表设计最佳实践
Delete（从table1表中删除table2表中的记录）INSERT OVERWRITE TABLE table1 SELECT t1.key1,t1.key2,t1.col1,t1.col2 FROM table1 t1 LEFT OUTER JOIN table2 t2 ON t1.key1=t2.key1 AND t1.key2=t2.key2 WHERE t2.key1 IS NULL;...
设置列索引的排序键
排序流程 新建列存索引时数据排序流程 列存索引数据排序总体上实现与DDL过程中二级索引的排序算法类似，支持单线程与多线程排序。单线程使用标准二路归并排序，多线程使用败者树多路外排且支持抽样排序法策略。总体流程如下：按照主键索引...
流式入库
支持流式入库的系统都基本遵循了一个思路，流式数据按照小批量数据写小文件到存储系统，然后定时合并这些文件。例如，Hive和Delta Lake。Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以...
SharedMergeTree表引擎
CREATE TABLE my_table(key UInt64,value String)ENGINE=MergeTree ORDER BY key 由于 default_table_engine=MergeTree 您不必再特别设置 ENGINE=MergeTree。下面的查询语句和上面的完全一样。CREATE TABLE my_table(key UInt64,value ...
表操作
Transaction Table1.0与Transaction Table2.0表参数 说明 仅设置 tblproperties("transactional"="true")表示表类型为Transaction Table1.0，除此之外还设置 primary key(PK)或其他Transaction表参数时，表示表类型为Transaction Table2.0...
使用UDAF实现数据排序和聚合
本文提供了一个自定义聚合函数（UDAF），实现将多行数据合并为一行并按照指定列进行排序，并以居民用电户电网终端数据为例，介绍如何在实时计算控制台使用该函数进行数据聚合和排序。示例数据 居民用电户电网终端数据表electric_info，包括...
数据同步模版
本文为您介绍如何使用多库多表同步或者分库分表合并模版实现数据同步。背景信息 Flink全托管支持多库多表同步和分库分表合并两种数据同步方式，二者的区别请参见下表。同步方式 详情 多库多表同步 如果您需要将一个或多个数据库中的一张或...
2022/04/27 更新日志
功能 保护分支推送与合并权限控制新增支持按用户维度限制，指定固定用户允许推送与合并分支：优化 目录树菜单支持横向滚动查看文件；
数据库实时入仓快速入门
将tpc_ds库中所有表同步至Hologres使用CDAS(CREATE DATABASE AS)语法来实现，将user的分库分表合并同步到Hologres的单表使用CTAS(CREATE TABLE AS)语法来实现，最后再使用STATEMENT SET语法将这两条SQL语句合并在一个作业中提交。...
流式数据湖仓Paimon
CREATE TEMPORARY TABLE paimon_table(id BIGINT,data STRING,PRIMARY KEY(id)NOT ENFORCED)WITH('connector'='paimon','path'='<path-to-paimon-table-files>','auto-create'='true',-如果指定路径不存在Paimon表数据文件，则会自动创建...
CREATE TABLE AS（CTAS）语句
table>:[catalog_name.][db_name.]table_name<source_table>:[catalog_name.][db_name.]table_name<column_component>:computed_column_definition[FIRST|AFTER column_name]<computed_column_definition>:column_name AS computed_...
功能发布记录
为避免误用Table Group造成资源浪费，从V2.0开始限制单Table Group及实例级别总Shard数上限，详情请参见 Table Group与Shard Count操作指南。DataHub写入不再支持SDK（遗留）模式，全面转为JDBC模式，新模式更稳定，支持数据类型更丰富。...
新版合并请求
新版合并请求自2023年8月开始灰度，文档为新版合并请求的帮助文档。1.创建代码评审 1.1.基础信息 创建代码评审由以下几个步骤组成：选择来源和目标分支。用户可以根据自身需要，选择来源于目标分支，如果不存在diff或者diff过大，我们会为...
对象存储OSS
在生产环境中使用文件合并功能时，需要注意：只有checkpoint内部的文件才会被合并，会至少生成与checkpoint个数相同的文件个数。合并前文件不可见，文件的可见时间是 checkpoint间隔时长+合并时长。合并时间过长，将导致反压，延长...
- 产品推荐
- 这些文档可能帮助您