查询执行器介绍

但是对于较复杂的SQL,往往无法将SQL中的算子全部下推,这时候就需要 PolarDB-X 执行器执行无法下推的计算。SELECT l_orderkey,sum(l_extendedprice*(1-l_discount))AS revenue FROM CUSTOMER,ORDERS,LINEITEM WHERE c_mktsegment='...

查询执行器介绍

但是对于较复杂的SQL,往往无法将SQL中的算子全部下推,这时候就需要 PolarDB-X 1.0 执行器执行无法下推的计算。例如,对于如下查询SQL:SELECT l_orderkey,sum(l_extendedprice*(1-l_discount))AS revenue FROM CUSTOMER,ORDERS,LINEITEM ...

使用SQL执行器管理数据库

使用Cloud Toolkit内置的SQL执行器可以快速登录MySQL类型的RDS数据库实例并对其进行管理。背景信息 阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和...

使用SQL开发编辑器执行内置测试脚本

通过 云原生数据仓库AnalyticDB MySQL版 湖仓版(3.0)的内置数据集可以快速体验或测试 AnalyticDB MySQL 集群。本文介绍如何使用内置数据集分析数据。前提条件 创建集群时已加载内置数据集。详情请参见 创建湖仓版集群。...

在远程服务器执行本地 Shell 脚本

若您想在远程服务器执行本地 Shell 脚本,使用传统方法需要先上传脚本,再登录远程服务器执行脚本,步骤繁多。使用 PelicanDT,可以通过一行 Java 代码实现此操作。前提条件 已安装 PelicanDT SDK。请参见 安装 PelicanDT SDK。已在 Linux ...

触发器不能正常触发函数执行怎么办?

问题现象 触发无法调用函数执行。问题原因 可能存在的原因如下。没有成功生成触发事件。不满足触发规则。触发配置的角色不正确。解决方案 方案一:确认是否成功生成触发事件 OSS触发 例如您的场景是将文件上传到OSS后触发函数执行,...

触发器不能正常触发函数执行怎么办?

问题现象 触发无法调用函数执行。问题原因 可能存在的原因如下。不满足触发规则。触发配置的角色不正确。解决方案 方案一:确认是否满足触发的触发规则 常见触发的触发规则示例如下。OSS触发 OSS的Bucket和函数必须在同一个地域...

使用云助手在容器内执行命令

如果您希望在容器内执行其他语言的脚本,可以尝试直接调用容器内的解释并传递待执行的脚本内容,例如在脚本开头使用/usr/bin/python-c 'import sys;print(sys.version_info)' 命令。操作步骤 查看Kubernetes容器ID和名称。方法一:使用...

导出离线日志(公测中)

执行器列表展示当前应用日志导出用到的所有共享及专享执行器,包括执行器组名称、执行器组类型、累计执行任务数、累计导出数据量、当前执行任务数、当前排队任务数、运行状态信息。其中:执行器组:分为共享和专享两种。累计执行任务数:...

使用SDK执行HTTP触发器函数

本文介绍如何使用不同语言SDK提供的接口执行HTTP触发(需要身份认证)函数。背景信息 函数计算 服务会根据请求头部的Authorization字段来校验每一个请求是否合法。说明 设置了HTTP触发的允许匿名访问的函数不可以校验。您必须使用与 ...

资源组说明

自定义执行器:支持用户按执行器规范,扩展自己的执行器。系统资源组 系统资源可以在 数据资源平台>系统设置>资源组管理 中查看,系统内置为“是”的表示系统资源组。用户无须购买即可使用,但规格有限,只适用于测试或POC场景。使用限制...

资源组说明

自定义执行器:支持用户按执行器规范,扩展自己的执行器。系统资源组 系统资源可以在 企业数据智能平台>系统设置>资源组管理 中查看,系统内置为“是”的表示系统资源组。用户无须购买即可使用,但规格有限,只适用于测试或POC场景。使用...

列存索引行列融合基础组件介绍

本文介绍了列存索引行列融合基础组件(优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理)以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理(OLTP)和分析处理(OLAP)混合工作负载在当前的业务...

实现处理器接口和类

new ThreadPoolExecutor(20,300,1,TimeUnit.HOURS,new ArrayBlockingQueue(100){})getName:获取这个执行器的名字,这个名字很重要,Client 接收到任务的触发请求时,会根据名字寻找匹配的执行器。当任务需要按多个步骤执行时,需要写多个...

为什么SLS触发器触发函数执行的频次有时高于预期?

问题现象 SLS触发触发函数执行的频次有时高于预期的触发频次。问题原因 每个Shard是单独触发的,您看到的可能是一个Logstore整体触发次数很多,但每个Shard实时触发时间是符合间隔的。单个Shard的触发间隔和每次处理的数据范围相同(时间...

为什么SLS触发器触发函数执行的频次有时高于预期?

问题现象 SLS触发触发函数执行的频次有时高于预期的触发频次。问题原因 每个Shard是单独触发的,您看到的可能是一个Logstore整体触发次数很多,但每个Shard实时触发时间是符合间隔的。单个Shard的触发间隔和每次处理的数据范围相同(时间...

任务触发与执行问题

请先确认控制台配置的应用名称和执行器名字是否与客户端代码里写的一致,可以查看 endpoint 配置是否正确。如果客户端已经启动,则检查 logs/scheduler 目录下的 common-default.log 和 common-error.log 错误日志。如果错误日志中都没有报...

数据查询

查询表数据 在集群管理系统的左侧导航栏中,选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间,页面右侧会自动显示该命名空间中的表。在编辑器中输入SQL语句。单击 执行。说明 执行操作可以通过键盘完成。Windows系统:CTRL+...

数据查询

查询表数据 在集群管理系统的左侧导航栏中,选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间,页面右侧会自动显示该命名空间中的表。在编辑器中输入SQL语句。单击 执行。说明 执行操作可以通过键盘完成。Windows系统:CTRL+...

Dataphin中Hive计算引擎修改“任务执行机器”的影响

问题描述 Dataphin中Hive计算引擎修改“任务执行机器”的影响。解决方案 Spark,MapReduce任务执行机器会发生变化,受到影响。任务执行机器是配置MapReduce或Spark的执行机器的连接地址。适用于 Dataphin

列存索引技术架构介绍

Plan转换生成的是一个等价的Logical Plan,其需要被转换成Physical Plan才能被执行器执行。目前IMCI的Optimizer比较简单,除了一些基本的执行计划优化(如决策是使用HashJoin还是使用NestedLoop Join)外,Optimizer最主要的作用是将目前...

概念原理

任务分步 一个简单任务可以拆分成多个执行步骤(step),由不同的执行器(handler)按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如,“对账”任务的处理步骤是:下载银行的清算文件>根据约定格式解析文件>文件数据与机构日间...

将XXL-JOB迁移至SAE Job

SAE Job扮演了XXL-JOB的调度中心和执行器,您只需聚焦任务代码和简单配置,例如任务模板、并发重试等,由 SAE 负责无侵入地调度、管控任务。XXL-JOB作为分布式任务框架,在使用过程中存在以下痛点:需要依赖外置数据库,增加了数据库的使用...

PolarDB HTAP实时数据分析技术解密

PolarDB的SQL执行器层,重写了一套面向列存的执行器引擎框架(Column-oriented)。该执行器框架充分利用列式存储的优势,例如,以一个4096行的Batch为单位访问存储层的数据,使用SIMD指令提升CPU单核处理数据的吞吐量,所有关键算子均支持...

基础术语

任务分步 Step 一个简单任务可以拆分成多个执行步骤(step),由不同的执行器(handler)按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如对账任务的处理步骤如下:下载银行的清算文件。根据约定格式解析文件。文件数据与机构...

ePQ支持并行写入及查询OSS外部表

PolarDB PostgreSQL版(兼容Oracle)的弹性跨机并行查询(ePQ)支持并行写入及查询OSS外部表:ePQ优化器能够产生多进程并行写入OSS外部表的执行计划,ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行...

ePQ支持并行写入及查询OSS外部表

PolarDB PostgreSQL版 的弹性跨机并行查询(ePQ)支持并行写入及查询OSS外部表:ePQ优化器能够产生多进程并行写入OSS外部表的执行计划,ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行查询OSS外部表...

2023年

独立对某个Processor配置执行线程池,指定类名为 spring.schedulerx2.processorPoolSize.,执行器类名=线程池Size。示例:spring.schedulerx2.processorPoolSize.SimpleHelloProcessor=5。支持Job级别的线程池模型,配置参考如下。配置为每...

快速入门

执行器名字 必须与代码中任务处理器名字一致,即 实现类 步骤中 getName 方法获取的执行器名字。是否分片 选择任务是否开启分片:不开启分片,任务将只调度到一台客户端服务器上执行。开启分片,并设置分片数为 N,任务则会同时触发到 N 台...

自适应执行能力

在执行阶段,当查询块(Query block)或整体的扫描数据行数触发了计算的自适应执行能力的阈值,执行器会判断是否切换到列存执行。切换到列存前,优化器会保证行存的执行结果集没有返回给客户端,并且切换到列存执行后,PolarDB 会清空已...

分区剪枝

如下可以看到,同样的 measurement 表,同样的SQL查询,但是查询条件的表达式值从静态值变成了 now(),这是一个稳定的表达式,它不能在优化阶段计算,但是可以在执行器初始阶段计算。假设今天是2023年7月,因此可以看到前两个季度分区被...

HTAP中的行列混存查询优化

基于规则的查询计划改写 这一步与MySQL优化器类似,除了MySQL优化器已有的规则之外,还增加了新的规则,这些规则的主要目的是进一步优化列式执行器执行查询的效率以及使执行计划满足执行模型的要求。例如:子查询去关联:在没有索引的情况...

创建调度任务

执行器名字 必须与代码中任务处理器名字一致,即 实现类 步骤中 getName 方法获取的执行器名字。是否分片 选择任务是否开启分片:不开启分片,任务将只调度到一台客户端服务器上执行。开启分片,并设置分片数为 N,任务则会同时触发到 N 台...

MapReduce常见问题

远程执行器执行加载远程的Classpath,即-libjars mapreduce-examples.jar。本地执行器加载本地Classpath,所以也要指定-classpath lib/mapreduce-examples.jar。Hadoop MapReduce的源码,能否直接应用于MaxCompute MapReduce?不能。...

OPT_PARAM Hints

同时也控制着规划器产生允许执行器在查询执行期间移除(忽略)分区的查询计划的能力。enable_partitionwise_aggregate 允许或禁止查询规划器使用面向分区的分组或聚集,这使得在分区表上的分组或聚集可以在每个分区上分别执行。如果GROUP ...

OPT_PARAM Hints

同时也控制着规划器产生允许执行器在查询执行期间移除(忽略)分区的查询计划的能力。enable_partitionwise_aggregate 允许或禁止查询规划器使用面向分区的分组或聚集,这使得在分区表上的分组或聚集可以在每个分区上分别执行。如果GROUP ...

触发器行为概述

根据行级触发器的选择,被其调用的触发器函数可以返回一个表行(类型 HeapTuple 的一个值)给执行器。在一个操作前触发的行级触发器有下列选择:它可以返回 NULL 来跳过对当前行的操作。这指示执行器不要执行调用触发器的行级操作(对一个...

PolarDB并行查询

并行执行器 PQ实现了一系列算子内并行的机制,如对表的逻辑分区和并行扫描,Parallel Hash join等,来使并行执行成为可能或进一步提升性能,还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的,所有数据对所有节点均可见...

OOM常见问题排查指南

UnionALL 如下所示,当SQL中含有大量 union all subquery 时,执行器会并行处理每个 subquery,导致内存压力变大,从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行,减少OOM情况,但查询...

V5.3.x系列实例版本说明

v5.3.12-15708775 日期 2019.10.12 类别 说明 新增特性 新增Chunk-Based执行器,查询优化复杂查询。新增SQL执行计划管理(Plan Management)功能。新增新的DDL任务引擎,支持DDL任务的查看、恢复和回滚等功能。新增通过FORCE INDEX HINT...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云工作流 音视频通信 应用实时监控服务 系统运维管理 逻辑编排 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用