Hudi
本文为您介绍如何使用Hudi连接器。背景信息 Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者HDFS组织文件布局，保证ACID，支持行级别的高效更新和删除，从而降低数据ETL开发门槛。同时该框架还支持自动管理及合并小文件，...
数据模型
通过以下示例来阐述什么是聚合模型，以及如何正确地使用 Aggregate 聚合模型。示例1：导入数据聚合 数据表 example_tbl1 的结构定义表。ColumnName Type AggregationType Comment user_id LARGEINT 无 用户ID date DATE 无 数据写入日期 ...
历史功能发布记录（2020年及之前）
首先，Terway直接通过非常轻量的IPvlan进行Pod网络的虚拟化，IPvlan的网络虚拟化让Pod的流量不再经过宿主机的网络栈，大大降低网络的性能开销。其次，Terway使用Cilium作为节点上的BPF-agent去配置容器网卡的BPF规则，将Service和...
版本发布说明
本文介绍 PolarDB-X 实例版本的发布说明。发布日期：2024-03-20 大版本：V5.4.18 小版本：17108394 类别 说明 新增&优化 新增Online Modify Column 2.0功能。新增 show full binary logs、show full master status 等binlog相关运维指令。...
规格容量评估
ES实例内部开销：段合并、日志等内部操作，预留20%。存储集群日志（包括运行日志、访问日志和慢日志）随着查询或推送访问量的增加，空间占比不断增大，默认保留最近7天的日志，不支持修改。操作系统预留空间：默认操作系统会保留5%的文件...
通过OpenStore智能混合存储实现海量数据存储
取消托管时间 默认为3天，3天后自动退出Indexing Service写入托管服务，减少计费开销。如果您设置的时长超过冷阶段或删除阶段的开始时间，索引进入相应阶段后会自动取消托管。取消托管后索引变成只读，索引将不再通过Indexing Service进行...
通过OpenStore自定义冷热存储实现海量数据存储
取消托管时间 默认为3天，3天后自动退出Indexing Service写入托管服务，减少计费开销。如果您设置的时长超过冷阶段或删除阶段的开始时间，索引进入相应阶段后会自动取消托管。取消托管后索引变成只读，索引将不再通过Indexing Service进行...
调用链采样配置最佳实践
调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错、慢、异常等链路被采集，从而最大限度保障性能监控和问题排查的使用需求。本文将重点围绕不同业务场景下...
代码多副本功能
在NUMA架构（尤其是ARM实例）中，不同NUMA节点具有各自的本地内存，当一个NUMA节点上的程序或进程需要访问其他NUMA节点的代码段时，就会引入额外的延迟和性能开销。通过代码多副本功能，可以将远程节点的代码段复制到本地节点，避免了跨...
EXPLAIN和执行计划
不同的是，PolarDB-X 1.0 本身不存储数据，更侧重考虑分布式环境中的网络IO开销，将运算下推到各个分库（如RDS/MySQL）执行，从而提升SQL执行效率。用户可通过EXPLAIN命令查看SQL的执行计划。文中示例均基于如下表结构：CREATE TABLE `...
使用EXPLAIN
这里是一个简单的例子，只是用来显示输出看起来是什么样的：EXPLAIN SELECT*FROM tenk1;QUERY PLAN-Seq Scan on tenk1(cost=0.00.458.00 rows=10000 width=244)由于这个查询没有 WHERE 子句，它必须扫描表中的所有行，因此计划器只能选择...
如何回滚代码？
未关联任何引用的悬空提交被认为对仓库来说没有保留意义，因此在保存较长时间段后，服务端会删除这些悬空的提交。或者用户在仓库 gc 中自行选择强制 gc 也会触发对悬空提交的清理。上述的例子中，我们需要将 master 分支的提交版本恢复到 ...
RDS SQL Server CPU使用率高问题
QPS 如果 QPS 增高和CPU使用率增高保持一致，说明是数据库查询请求数量增加导致的CPU使用率增高，即CPU高的原因不在数据库层面，应当从应用层面分析是什么原因导致数据库查询请求数量增加。Page_Lookups/sec Page_Lookups/sec 是指执行中的...
Presto FAQ
如果每个Stripe太小，一次次地读取Stripe花费在网络上的开销可能比直接读取整个文件的开销还要大。如何开启大查询功能？当您查询的数据需要消耗比较多的内存导致一直失败时，您可以开启虚拟集群的大查询功能。开启方法，在查询中添加HINT，...
使用Terway网络插件
配置Terway网络 步骤一：规划和准备集群网络 使用Terway网络插件创建ACK Kubernetes集群时，您需要指定专有网络VPC、虚拟交换机、Pod网络CIDR（地址段）和Service CIDR（地址段）。因此，在创建集群之前，您需要先创建一个专有网络VPC，并...
Linux系统挂载NFS协议文件系统
典型问题 文件创建“延迟”问题现象：ECS-1创建了文件 abc，但是ECS-2需要过一段时间才能看到ECS-1创建的文件 abc，有时会延迟1s，有时甚至会到1分钟，这是为什么？问题原因：这是Lookup Cache导致的，符合预期T时间。例如，ECS-2在ECS-1...
事务隔离
最严格的是可序列化，在标准中用了一整段来定义它，其中说到一组可序列化事务的任意并发执行被保证效果和以某种顺序一个一个执行这些事务一样。其他三种级别使用并发事务之间交互产生的现象来定义，每一个级别中都要求必须不出现一种现象。...
利用PHP长连接提高性能
而每个短连接的开销不止是 socket 重连，还有复杂的重新鉴权流程，开销比一个普通请求大许多，因此对网站的效率是有很大影响的。解决方案 于是我们建议用户改短连接为长连接，但是云数据库Memcache要求使用的PHP MEMCACHED扩展，不像...
读写访问文件类问题
该方案开销最小。挂载时，添加 lookupcache=positive（默认值 lookupcache=all）字段，挂载命令如下所示：sudo mount-t nfs-o vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport,lookupcache=...
Kerberos概述
本章节将为您介绍什么是Kerberos，及Kerberos开启、使用的流程。背景信息 集群开启Kerberos认证之后：对客户端而言，在访问集群服务（如HDFS，YARN等）之前，必须先通过Kerberos认证，未经认证的客户端无法访问集群服务，只有经过认证的...
挂载访问FAQ
通过控制台一键挂载文件系统时，为什么在ECS列表中查询不到刚刚创建的ECS实例？使用一键挂载功能时，新的协议类型或者挂载参数为什么没生效？通过控制台批量挂载文件系统 批量挂载功能支持哪些操作系统和文件系统协议？批量挂载支持经典...
生命周期管理FAQ
什么时候应该开启生命周期管理功能？当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储...
性能调优
在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB MySQL单机版集群可以更好利用存储的索引来提升查询性能。如何解决查询内存超限？AnalyticDB MySQL版 中查询内存限制都是...
什么是云数据库Redis版
为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障和系统维护服务，您可以专注于业务创新。支持String（字符串）、List（链表）、Set（集合）、Sorted Set（有序集合）、Hash（哈希表）、Stream（流数据）...
画像分析-RoaringBitmap优化方案
因此有必要将Bitmap拆分成多段，并将它们打散到集群中来提升并发执行的能力，假设将Bitmap打散成65536段，SQL命令如下。dws_userbase 结构见宽表方案 BEGIN;CREATE TABLE dws_shop_cust(uid text not null primary key,shop_id text,cust_...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格...当前通道服务本身没有额外的费用开销。在消费通道服务数据时，表格存储会根据实际拉取的数据产生读吞吐量计量计费。更多信息，请参见 计量计费项。
控制结构
这种形式的 CASE 整体上等价于 IF-THEN-ELSIF，不同之处在于 CASE 到达一个被忽略的 ELSE 子句时会导致一个错误而不是什么也不做。简单循环 使用 LOOP、EXIT、CONTINUE、WHILE、FOR 和 FOREACH 语句，你可以安排PL/SQL重复一系列命令。LOOP...
通过计算巢创建专属ChatBot
支持GPU的集群管理：在测试的过程中可以使用低水位的GPU实例，随着业务的增长，可以设置基于资源使用情况的动态GPU集群弹性管理，最大程度地节省GPU的开销。基于AnalyticDB PostgreSQL完整数据库能力进行精细化的权限设计：可以基于开源...
敏感数据加密
同时，对于数据量较大的加解密场景，离线的计算过程也避免了云上传输和计算的开销，有效提升计算性能并降低成本。关于信封加密的更多信息，请参见 使用KMS信封加密在本地加密和解密数据。最后一把密钥 的安全问题是KMS加解密场景中的普遍...
云数据库Redis版产品选型必读
免费试用 阿里云免费试用面向符合条件的新用户，提供一定时间段的免费试用阿里云产品的权益，更多信息请参见 免费试用。快速推荐 业务场景 推荐规格 购买链接 超高性能场景、全球多活、按时间点恢复数据，可使用自研增强型数据结构等。Tair...
PolarDB处理TPC-H查询的挑战和机遇
Detecting Correlation cardinality estimation存在以下问题：如何捕获2列之间的相关性->目标列是什么？如何量化衡量2列间的相关性->如何描述相关性？针对第一个问题，一般会采用查询反馈的方案。也就是在初始时，并不假定其相关性，然后在...
语音识别FAQ
开启ITN（逆文本规整）后，中文数字混合时为什么并不是全部转为阿拉伯数字？录音文件识别的enable_sample_rate_adaptive和极速版本里的sample_rate，这两个接口是一样的吗？录音转文本能区分坐席和客户吗？智能语音交互的一句话识别，标点...
EAS常见问题
VPC调用地址是内网SLB+网关的模式（公网地址是公网SLB+网关），这是比较经典的请求模式，在这种模式下请求需要通过SLB的4层转发和网关的7层转发之后到达服务实例，在大流量高并发的场景中通过转发会带来一定的性能开销，同时网关也会有带宽...
什么是云原生内存数据库Tair
为什么选择云原生内存数据库Tair 丰富的产品形态 从访问延时、持久化需求、整体成本这三个核心维度考量，基于DRAM（Dynamic Random Access Memory）、NVM（Non-Volatile Memory）和ESSD云盘等存储介质，推出了 内存型、持久内存型、磁盘型 ...
控制台发布记录
2023-05-26 什么是PolarDB MySQL标准版 2023年4月 功能名称 功能描述 发布时间 相关文档 新增固定规格集群的Serverless功能 您可以直接在已经购买的固定规格（普通）集群上开启Serverless功能，即可创建固定规格集群的Serverless功能。...
数据加密和密钥管理
同时，对于数据量较大的加解密场景，离线的计算过程也避免了云上传输和计算的开销，有效提升计算性能并降低成本。关于信封机密的更多信息，请参见 使用KMS信封加密在本地加密和解密数据。最后一把密钥 的安全问题是KMS加解密场景中的普遍...
什么是Topic
MQTT（Message Queuing Telemetry Transport）是一种基于 发布/订阅 模型的消息传输协议，具有低开销、高拓展、协议简单、双向通信等优点，可以利用较少的设备资源和网络资源实现可靠、高效的长连接，被广泛应用于物联网领域。目前物联网...
PolarDB并行查询
Partition Hash join Partition Hash join可以避免Parallel Hash join自身问题，但引入数据Shuffle的开销：如上图所示，查询的执行过程分为了3个阶段 build/probe两侧都根据join key做Shuffle，将数据分发到目标Partition；在每个Partition...
CREATE TABLE
尽量 不要选择日期、时间和时间戳类型的列作为分布键，写入时容易发生倾斜，影响写入性能，且多数查询通常是限定了日期或时间段，如：查询最近一天或一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式数据库中...
高级管理FAQ
什么时候应该开启生命周期管理功能？当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储...
- 产品推荐
- 这些文档可能帮助您