应用上云优先级及计划
考虑到企业应用系统规模较大，各方面资源无法保障所有应用系统并行上云。所以，我们建议制定应用上云优先级，并明确迁移批次及计划，使得所有资源能够有效被利用，并降低上云风险。我们建议应用上云优先级的制定，以“速赢”为原则，即优先...
使用场景
类似地，一个 FOR x IN query LOOP.END LOOP 形式的 PL/pgSQL 循环也永远不会使用并行计划，因为当并行查询进行时，并行查询系统无法验证循环中的代码执行起来是安全的。使用了任何被标记为 PARALLEL UNSAFE 的函数的查询。大多数系统定义...
通用性能
系统指标 指标详细 维度 能力 说明 系统部署 Agent自动注册 按规模可选择Agent集群式入网，高可用执行分钟级故障切换 系统性能 自动化峰值调用性能：100/分钟 自动化任务下发 并发调用性能：100台设备并行配置 系统稳定 系统动态扩容能力：...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
入门概述
文件存储CPFS概述 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展的并行文件系统，满足高性能计算场景的需求。文件存储CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS...
CreateFileSystem-创建文件系统
可选值请参考购买页面的实际规格：极速型 NAS 按量付费购买页面 极速型 NAS 包年包月购买页面 并行文件系统 CPFS 按量付费购买页面 并行文件系统 CPFS 包年包月购买页面 100 Bandwidth long 否 文件系统吞吐上限。单位：MB/s 具体可选规格...
CreateFileSystem-创建文件系统
可选值请参考购买页面的实际规格：极速型 NAS 按量付费购买页面 极速型 NAS 包年包月购买页面 并行文件系统 CPFS 按量付费购买页面 并行文件系统 CPFS 包年包月购买页面 100 Bandwidth long 否 文件系统吞吐上限。单位：MB/s 具体可选规格...
新功能发布记录
本文列举了文件存储CPFS产品功能发布的时间、...2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统，提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2018-01-09 部分 什么是文件存储CPFS
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
应用场景
高速稳定的并行转码系统，转码任务规模无缝扩展。视频内容再造 利用视频AI和超分技术、媒体处理技术，实现低画质素材高清重生内容再造。泛娱乐视频 媒体处理为泛娱乐门户提供完整的视频服务，帮助您快速搭建一个功能齐备的泛娱乐视频发布...
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
ALIYUN:NAS:FileSystem
cpfs：并行文件系统。VpcId String 否 否 专有网络ID，指定VpcId和VSwitchId可以在创建文件系统实例的同时预配置一个默认挂载点。当FileSystemType取值为cpfs时，该参数必须指定。Bandwidth Integer 否 否 文件系统吞吐上限。当...
常见问题
文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
参数说明
注意并行查询可能消耗比非并行查询更多的资源，因为每一个工作者进程时一个完全独立的进程，它对系统产生的影响大致和一个额外的用户会话相同。max_parallel_workers_per_gather 设置单个Gather或者Gather Merge节点能够开始的工作者的最大...
数据变更最佳实践
批量导入多个表时，导入任务会在系统中并行执行，默认并行执行2个任务。例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如...
热点行优化
具体方案如下：串行处理变流水线处理 为了提升数据库系统的性能，最直接的方法是使用并行处理，但是对同一热点行的更新操作很难做到完全并行，PolarDB 创新性地使用了流水线处理方式，最大限度地将热点行更新操作并行化。热点行更新操作所...
应用场景
并行文件存储系统CPFS AIACC-ACSpeed进行AI训练的典型业务场景如下所示：场景 适用模型 常用存储 图像分类、图像识别 Resnet、VGG16模型等，以及Stable Diffusion等AIGC模型 并行文件存储系统CPFS CTR预估 Wide&Deep模型 文件系统HDFS NLP...
快速开始
通过Hint来控制并行查询 使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL进行加速。详情内容请参见 并行查询Hint语法。设置阈值控制优化器是否...
SELECT
当您不知道并行度设置成多少合适时，建议不指定并行度，系统将自动采用最优的并行度。常见问题 Q：什么情况下，查询语句被认为是低效查询语句？A：如果SELECT查询的条件同时满足下列三个条件，则该查询被认为是低效查询。WHERE 语句中没有...
PolarDB MySQL版8.0.1版本发布日志
即开启弹性并行查询功能后，当系统的 loose_csv_max_oss_threads 参数值大于1时，直接进行并行查询。优化OSS外表文件格式错误的报错信息内容。支持在 ALTER TABLE PARTITION BY RANGE 语法中增加 without validation 的选项，将普通表快速...
实践教程概览
创建以CPFS为共享存储的E-HPC集群 CPFS是一种高性能并行文件存储系统，以CPFS为共享存储的E-HPC集群适合动画渲染、生命科学、气象预报、能源勘探等需要超高吞吐的应用场景。本教程介绍如何创建以CPFS为共享存储的高性能计算集群，为您提供...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
软件概述
软件列表 名称 版本 简介 需要选中的依赖包 ABySS 2.1.5 基于短序列的基因组双端组装工具，多节点并行版本。Intel-MPI 2018 Anaconda 2018.12-py27 2018.12-py37 Python环境管理工具。无 BLAST 2.8.1 在生物信息数据库中进行相似性比较的...
CPFS并行文件存储
基因组测序数据组装 基因序列组装需要海量的并发计算作业，CPFS并行文件存储 提供高达百GB的访问带宽，可以满足成百上千个节点同时访问的需求，破除文件IO访问瓶颈，任务完成时间缩短到原来的50%。石油勘探业务分析 大量地质数据需要计算、...
CREATE FUNCTION
如果它们访问临时表、客户端连接状态、游标、预备语句或者系统无法在并行模式中同步的本地后端状态（例如 setseed 只能在组领导者中执行，因为另一个进程所作的更改不会在领导者中被反映出来），它们应该被标为并行受限。通常，如果一个...
混合负载HTAP的实践和优化
OLTP系统查询慢，存在分析型场景和瓶颈的客户；读写分离需求。PolarDB-X HTAP架构更多信息，请参见 混合负载HTAP。HTAP集群 您购买的 PolarDB-X 主实例，主要面向在线通用业务场景。如果业务针对同一份数据有分析、专注离线拖数、跑批等...
2022年
ST_ImportFrom 2022年9月 ST_ExportTo函数 支持栅格数据导出到HDFS文件系统。ST_ExportTo 2022年9月 缺陷修复 修复 ST_makeTrajectory 函数可能会崩溃的问题。2022年9月 修复 ST_lcsSimilarity 函数无法识别以天为单位的时间段问题。2022...
功能发布记录
能力接入管理：能力接入申请审批接入统一任务中心，支持能力负责人并行审批，支持查看任务审批详情。业务应用支持多网关凭证管理。能力接入申请支持多环境，不仅限于生产环境支持接入申请操作。能力产品申请时可查看在不同环境下可申请的...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
并行查询性能
本文档基于TPC-H测试 PolarDB MySQL版 8.0.1和8.0.2版本 集群版 的OLAP负载性能，您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。并行查询简介 PolarDB MySQL版 8.0版本 集群版 推出并行查询（Parallel Query）框架。当您的...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
模型画布简介
序号 区域 说明 ① 资源区 可拖拽数据表、本地数据、系统算子、脚本算子资源到画布的执行区组装模型。说明 系统算子是指将业务人员经常使用的计算逻辑进行组件封装，作为模型中心预置的算子。系统算子使用具体操作，请参见 算子手册。② ...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
配置作业部署信息
两次系统检查点间最短间隔 两次系统检查点之间的最短时间间隔，如果系统检查点最大并行度是1，则该配置确保两个系统检查点之间有一个最短时间间隔。State数据过期时间 如果时间超过了State数据过期时间，则State数据就过期了，系统就会自动...
轻应用概述
轻应用支持敏捷的应用低代码开发模式，能够基于已被中心应用构建完成的底层能力进行上层业务能力组装，并进一步开发上层前端应用，实现对新业务诉求的迅速响应，并组装出上层页面或系统。轻应用的主要使用过程 创建轻应用。具体操作，请...
并行DDL
说明 该参数取值为1的时候，系统默认开启2个并行线程数。innodb_parallel_build_primary_index 您可以通过如下 innodb_parallel_build_primary_index 参数控制允许创建主键索引时使用并行DDL功能：说明 该参数当前处于灰度发布阶段。如有...
- 产品推荐
- 这些文档可能帮助您