扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
VACUUM
对于并行清理，每个处理器的睡眠与该处理器完成的工作成比例。PolarDB包括了一个“autovacuum”工具，它可以自动进行例行的清理维护。示例 清理单一表 onek，为优化器分析它并且打印出详细的清理活动报告：VACUUM(VERBOSE,ANALYZE)onek;
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
错误码定义
INT 类型（normalize的参数可以为INT/FLOAT/DOUBLE）Formula.InvalidParameter.RedundantArguments 2212 函数不应该带参数 23XX：查询分析器错误 错误代码（旧）错误代码 错误信息 QueryProcessor.Duplicated 2300 查询分析规则名称已存在 ...
错误码定义
INT 类型（normalize的参数可以为INT/FLOAT/DOUBLE）Formula.InvalidParameter.RedundantArguments 2212 函数不应该带参数 23XX：查询分析器错误 错误代码（旧）错误代码 错误信息 QueryProcessor.Duplicated 2300 查询分析规则名称已存在 ...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
Nginx Ingress异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 排查思路 排查思路 常见排查方法 通过日志服务SLS的Controller Pod查看访问日志 检查Controller Pod中错误日志 在Controller Pod中手动访问Ingress和后端Pod 抓包 常见问题及解决方案 访问连接相关 ...
Nginx Ingress异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 排查思路 排查思路 常见排查方法 通过日志服务SLS的Controller Pod查看访问日志 检查Controller Pod中错误日志 在Controller Pod中手动访问Ingress和后端Pod 抓包 常见问题及解决方案 访问连接相关 ...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
错误响应
当您使用文件处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文件处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,The parameter OctreeOption is ...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
错误响应
当您使用文档处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文档处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...
错误响应
当您使用媒体处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 媒体处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...
安装CUDA
背景信息 CUDA（Compute Unified Device Architecture，统一计算设备架构）是由NVIDIA推出的通用并行计算架构，该架构利用GPU（图形处理器）的处理能力可以解决复杂的计算问题。其包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。...
2021年
开启时空并行查询 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI识别场景。ST_SubRaster 缺陷修复 修复栅格解析无效的直方图信息可能会导致数据库崩溃的问题。修复进行投影...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
2021年
开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI识别场景。ST_SubRaster 2021年5月 缺陷修复 修复栅格解析无效的直方图信息可能会导致数据库崩溃...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
2022年
无 2022年6月 V1.1.22 内核小版本 类别 名称 描述 相关文档 发布时间 新增 PX Analyze功能 新增polar_px_enable_explain_all_stat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
同时，PolarDB PostgreSQL版（兼容Oracle）2.0版本 还解决了B-树索引的资源消耗问题，包括频繁更新索引导致的表膨胀问题。此外，该版本还提供了GiST索引，在构建过程中预先排序数据，从而可以大幅提高GiST和SP-GiST索引的创建速度，并减少...
V5.4.x系列实例版本说明
优化 优化统计信息的处理过程，增加TopN用于处理数据倾斜的情况。缺陷修复 修复的问题如下：兼容已下线的事务超时系统变量drds_transaction_timeout。load data导数据过程中对齐MySQL对空字符的处理语义。发布日期：2021-05-26 大版本：V5....
2022年
无 PX Analyze功能 新增polar_px_enable_explain_allstat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的tuple数量，耗时等。新增polar_px_explain_memory_verbosity参数，用于并行...
错误和消息
说明 在之前数据库中，没有参数的 RAISE 被解释为重新抛出来自包含活动异常处理器的块的错误。因此一个嵌套在那个处理器中的 EXCEPTION 子句无法捕捉它，即使 RAISE 位于嵌套 EXCEPTION 子句的块中也是这样。这种行为很奇怪，也并不兼容 ...
接入WAF后访问报401错误应如何处理
问题描述 接入WAF后访问网页报401错误 解决方案 状态码 401 Unauthorized 代表客户端错误，指的是由于缺乏目标资源要求的身份验证凭证，发送的请求未得到满足。原因一：需要用户身份验证信息尚未被提供 解决方案：提供相应的身份验证信息。...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
简介
同一任务的各个实例并行处理各自的输入数据。镜像 Image 镜像（Image）是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像，需要安装 BatchCompute Agent，然后授权给 BatchCompute 服务使用
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
应用场景
多媒体文件处理 使用 云工作流 可以帮助您将多个任务，如转码、截帧、人脸识别、语音识别、审核上传等，编排成一个完整的处理流程，通过 函数计算，提交媒体处理（IMM）任务，或自建处理器，产出一个符合业务需求的输出。各任务的执行错误...
影响查询性能的因素
但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
并行查询性能
并行查询利用多核CPU的并行处理能力，以8核32 GB 独享规格 的集群为例，并行查询示意图如下所示。下文将介绍8.0.1和8.0.2版本并行查询参数取值分别设置为如下表所示时，PolarDB 集群负载 并行查询测试方法 与 执行结果。关于如何配置参数，...
添加访问地址
将只需要获取数据副本的读操作分散到多个从节点上，可实现并行处理和负载均衡，减少数据库的负载和响应时间，提高用户的体验和满意度。更多信息，请参见 数据库代理。概念介绍 主地址：其读写模式为可读可写，默认读主，提供强一致读写。...
PolarDB并行查询
并行执行器 PQ实现了一系列算子内并行的机制，如对表的逻辑分区和并行扫描，Parallel Hash join等，来使并行执行成为可能或进一步提升性能，还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的，所有数据对所有节点均可见...
错误处理
} 错误码 使用SDK时，只需要关心处理逻辑为“返回错误”的错误码，其余错误码会被SDK自动处理或重试，建议直接按相应处理逻辑处理错误码。HTTP状态码 错误码 描述 处理逻辑 400 OTSParameterInvalid API请求参数错误或数据表不存在。返回...
- 产品推荐
- 这些文档可能帮助您