管理文件元数据
注意事项 在Ruby SDK中，文件元数据用 Hash 来表示，其他key和value均为 String 类型。文件元数据会附在HTTP Headers中，而HTTP协议规定请求头部不能包含复杂字符，元数据只能是简单的ASCII可见字符且不能包含换行。所有元数据的总大小不能...
Rowkey设计
考虑和上述salting一样的情景，现在可以用单向hash来得到行键foo0003，并可预测得‘a’这个前缀。然后为了重新获得这一行，需要先知道它的键。可以进一步优化这一方法，如使得将特定的键对总是在相同的地域。Reversing the Key（反转键）第...
BE参数配置
transfer_large_data_by_brpc 默认值：true 类型：Bool 说明：该配置用来控制是否在Tuple或者Block data长度大于1.8 GB时，将protoBuf request序列化后和Tuple或者Block data一起嵌入到controller attachment后通过Http brpc发送。...
规则和拓扑查询语句
ID|TABLE_NAME|BROADCAST|DB_PARTITION_KEY|DB_PARTITION_POLICY|DB_PARTITION_COUNT|TB_PARTITION_KEY|TB_PARTITION_POLICY|TB_PARTITION_COUNT|+-+-+-+-+-+-+-+-+-+|0|k_1|0|k|hash|40|k|hash|2|1|k_2|0|k|hash|40|k|hash|2|2|sbtest1|0|...
热线SDK接入（旧版）
如果您是在 iframe 标签内使用软电话SDK，那么需要为 iframe 标签增加 allow="microphone"属性，来允许 iframe 标签获取系统麦克风权限。接入手册 状态流转 蓝色为流转状态触发的事件hook，请参见事件回调枚举。白色为坐席状态，请参见坐席...
使用Hint
pg_hint_plan插件可以用Hint来强制干预和调优SQL语句的执行计划，并注册调优后的SQL语句模板和Hint规则，后续遇到相同SQL语句模板（常数参数数值不同，其它值都相同）的SQL语句将自动生成Hint干预调优后的执行计划，从而提高执行效率。...
HINT
执行计划对比 未开启Hint的执行计划 QUERY PLAN-Gather(cost=0.00.10.07 rows=1000 width=4)->Hash Join(cost=0.00.10.05 rows=1000 width=4)Hash Cond:(t1.a=t2.a)->Redistribution(cost=0.00.5.01 rows=1000 width=4)Hash Key:t1.a->...
查询性能优化指导
连接算子：Hash Join、Nested Loop、Merge Join 聚集算子：Hash Aggregate、Group Aggregate 分布式算子：Redistribute Motion、Broadcast Motion、Gather Motion 其他算子：Hash、Sort、Limit、Append等 postgres=EXPLAIN SELECT*FROM t1,...
Hash Clustering
Sort Merge Join 如果Join的表数据更大一些，Shuffle Hash Join方法也用不了，因为内存已经不足以容纳建立一个Hash Table。这时的实现方法是：先按照Join Key做Hash Shuffle，然后再按照Join Key做排序（Sort），最后对Join双方做一个归并...
新建表
HASH 索引基于 HASH 表实现，只有查询条件精确匹配 HASH 索引中的所有列才会用到 HASH 索引，仅能满足"=","IN"和"<=>"查询，HASH 索引无法用于排序，不适用于区分度小的列上，例如员工性别（gender）。索引类型 默认值为 NORMAL，支持 ...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
MSE Ingress支持的Annotation
但是MSE Ingress独有的Annotation不可以用nginx业务域前缀来替换。Annotation支持汇总 下文主要从流量治理和安全防护两大模块展开说明。流量治理 灰度发布 注解 作用域 支持度 说明 nginx.ingress.kubernetes.io/canary Ingress 兼容 开启...
MSE Ingress支持的Annotation
但是MSE Ingress独有的Annotation不可以用nginx业务域前缀来替换。Annotation支持汇总 下文主要从流量治理和安全防护两大模块展开说明。流量治理 灰度发布 注解 作用域 支持度 说明 nginx.ingress.kubernetes.io/canary Ingress 兼容 开启...
MSE Ingress支持的Annotation
但是MSE Ingress独有的Annotation不可以用nginx业务域前缀来替换。Annotation支持汇总 下文主要从流量治理和安全防护两大模块展开说明。流量治理 灰度发布 注解 作用域 支持度 说明 nginx.ingress.kubernetes.io/canary Ingress 兼容 开启...
可信计算应用开发
Sha256/原型/计算msg的SHA256摘要，得到hash CryptoErrorCode Sha256(const std:string&msg,std:string&hash);Hmac/*原型*计算Hmac,使用md_type摘要算法，使用key对msg计算hmac，得到结果mac*其中摘要算法类型 enum MdType:int { kSha1=0,...
Doris数据源
是 无 column 目标表需要写入数据的字段，字段之间用英文逗号分隔。例如"column":["id","name","age"]。如果要依次写入全部列，使用（*）表示，例如"column":["*"]。是 无 preSql 执行数据同步任务之前率先执行的SQL语句。目前向导模式仅...
Flink消费
如果您的Shard经常发生分裂合并，可以通过调整接口的调用周期来及时发现Shard的变化。示例如下：/设置每30s调用一次ListShards接口。configProps.put(ConfigConstants.LOG_SHARDS_DISCOVERY_INTERVAL_MILLIS,"30000");CreateConsumerGroup ...
使用COPY或UNLOAD命令导入或导出数据到OSS
COPY和UNLOAD都是基于OSS Foreign Table来完成数据导入导出的，OSS Foreign Table的详细内容请参见 使用 OSS Foreign Table 访问 OSS 数据。COPY 语法 COPY[]FROM<data_source>ACCESS_KEY_ID '<access_key_id>' SECRET_ACCESS_KEY '...
列存索引中HashMatch算子的实现
PolarDB IMCI执行器默认用行号表示执行的中间结果，当大查询所需数据量无法完全存放于内存时则可能会引发大量随机且重复IO，从而影响执行效率。为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的...
使用EXPLAIN查看并行计划
从执行计划输出的Extra信息中可以看到 pq_test 表使用了Parallel scan（并行扫描）策略，期望用4个Workers来并行执行。Gather操作中显示了使用的worker数量和节点数量，这里一共使用了2个节点，每个节点2个worker。通过带有子查询的EXPLAIN...
常见问题
其它测试用例请参见 Tutorials and Example Datasets 和 clickhouse-benchmark。集群创建后，是否还能修改Shard和Replica？例如，创建集群时使用的是A shard B replica，创建好集群后想修改为C shard D replica。ClickHouse支持从A shard B...
优化内部表的性能
因为 tmp1 表未及时更新统计信息，导致Hologres选择 tmp1 表创建Hash表进行Hash Join，效率较低，并且可能造成OOM（Out Of Memory，内存溢出）。因此，需要参与Join的两张表均执行 analyze 收集统计信息，语句如下。analyze tmp;analyze ...
支持的函数
OVERLAY(string1 PLACING string2 FROM integer1[FOR integer2])返回一个字符串，该字符串从位置INT1用 STRING2替换STRING1的INT2（默认为 STRING2的长度）字符。SUBSTRING(string FROM integer1[FOR integer2])返回STRING从位置INT1开始，...
后端路由
STRING:字符串类型，支持单引号或双引号，如："Hello"INTEGER:整数类型，如：1001，-1 NUMBER:浮点数类型，如：0.1,100.0 BOOLEAN:布尔类型，如：true、false 可以使用 and、or 来连接不同的表达式 可以用小括号(，)来指定条件判断的优先级...
维表JOIN语句
TIME AS OF PROCTIME()AS D1 ON T.a=D1.a SKEW 使用效果 当指定表存在数据倾斜时，优化器会在维表Join中使用Replicated Shuffle Hash策略（Skew只是一个语法糖，底层的实现是用的Replicated Shuffle Hash策略）。使用限制 每个SKEW提示只能...
PolarDB处理TPC-H查询的挑战和机遇
Small Group-By Keys 在做hash aggregation时，如果group by key的NDV（唯一值个数）很小，可以用一个较小范围的整数值来覆盖，这样可以使用一个连续数组来计算aggregation而不是hash table。连续数组cache locality要好很多，可以大幅提升...
倒排索引类型
默认是default_hash default_hash默认的字符串hash方法 murmur_hash采用murmur哈希算法（性能更好）number_hash当pk field为number类型时可以开启，直接用number数值代替hash值（转换性能比hash更快，但是使用原值后对比hash值可能更容易...
倒排索引类型
默认是default_hash default_hash默认的字符串hash方法 murmur_hash采用murmur哈希算法（性能更好）number_hash当pk field为number类型时可以开启，直接用number数值代替hash值（转换性能比hash更快，但是使用原值后对比hash值可能更容易...
SQL调优方法与实战
但是，实际上2019-11-15这一天总价低于10元的订单数量很小，只有几条，这时候用BKAJOIN是比Hash JOIN更好的选择（关于BKAJOIN和Hash JOIN的介绍，请参见 JOIN与子查询的优化和执行）。通过如下/*+TDDL:BKA_JOIN(orders,customer)*/Hint...
调优实践
实际上2019-11-15这一天总价低于10元的订单数量很小，只有几条，这时候用BKAJOIN是比Hash JOIN更好的选择，BKAJOIN和Hash JOIN的详细介绍，请参见 JOIN优化和执行。通过/*+TDDL:BKA_JOIN(orders,customer)*/Hint 语句强制优化器使用...
Kudu连接器
by_second_hash_buckets=3)说明 该示例定义了两组Hash分区，第一组Hash分区按照列col1对数据行分布到2个分区，第二组Hash分区按照列col2对数据行分布到3个分区，因此该表会有共计2*3=6个分区。Range分区 kudu表最多可以有一个Range分区，...
执行计划
InitPlan：预查询，被用在动态分区消除中，当执行时还不知道优化器需要用来标识要扫描分区的值时，会执行这个预查询。Sort：为另操作（例如Aggregation或者Merge Join）进行所有数据排序。Group By：通过一个或者更多列对行进行分组。Group...
Range Clustering
又可以用组合键来精确定位某张表，示例命令如下：SELECT count(*)from mf_project.mf_tab WHERE project_name="xxxdw"AND name="adm_ctu_cle_kba_midun_trade_dd"AND type="TABLE;甚至可以用于区域查询，比如统计以 adm 开头的表：SELECT ...
索引类型
本数据库提供了多种索引类型：B-tree、Hash、GiST、SP-GiST、GIN和BRIN。每一种索引类型使用了一种不同的算法来适应不同类型的查询。默认情况下，CREATE INDEX 命令创建适合于大部分情况的B-tree索引。B-tree B-tree可以在可排序数据上的...
基本概念
区块 英文名称Block，每个区块记录着上一个区块的hash值、本区块中的交易集合、本区块的hash等基础数据。由于每个区块都有上一区块的hash值，区块间由这个值两两串联，形成区块链。区块链 英文名称Blockchain，最早起源于比特币的底层技术...
JOIN优化和执行
Semi Join和Anti Join无法直接用SQL语句来表示，通常由包含关联项的EXISTS或IN子查询转换得到。如下为Semi-Join和Anti-Join的示例。Semi Join-1*/SELECT*FROM Emp WHERE Emp.DeptName IN(SELECT DeptName FROM Dept)/*Semi Join-2*/SELECT*...
使用EXPLAIN阅读查询计划
查询优化器使用数据库的数据统计信息来选择具有最小总代价的查询计划，查询代价通过磁盘I/O取得的磁盘页面数作为单位来度量。可以使用EXPLAIN和EXPLAIN ANALYZE语句发现和改进查询计划。EXPLAIN的语法如下：EXPLAIN[ANALYZE][VERBOSE]...
创建表并导入数据
Hash 分区 Hash 分区适合于对不能用 Range 分区、List 分区方法的场景，它的实现方法简单，通过对分区键上的 Hash 函数值来散列记录到不同分区中。如果您的数据符合下列特点，使用 Hash 分区是个很好的选择，更多内容参见 分区概述。不能...
发现并处理大Key和热Key
TairHash是一种可为field设置过期时间和版本的HASH数据类型，它不但和Redis Hash一样支持丰富的数据接口和高处理性能，还改变了Hash只能为Key设置过期时间的限制，可以为field设置过期时间和版本。这极大地提高了HASH数据类型的灵活性，...
- 产品推荐
- 这些文档可能帮助您