查询执行模式
Interactive模式 AnalyticDB MySQL 接收到用户查询后，会对查询进行解析，由优化器生成执行计划，执行引擎接收到执行计划后，会生成对应的分布式执行任务，这些分布式执行任务会根据执行计划描述的逻辑进行计算。执行引擎负责调度、管理...
创建多元索引的映射关系
ENGINE_ATTRIBUTE 是 执行引擎的属性，以JSON格式表示。包括如下选项：index_name：多元索引映射表绑定的多元索引名称。只有创建多元索引的映射关系时才需要配置。table_name：多元索引映射表绑定的多元索引所属的数据表名称。只有创建多元...
自定义任务模板
Steps是一个数组，执行引擎会按顺序执行每一个Step，每一个Step都是执行引擎的独立子进程。命令类型Step 命令类型Step可以让用户使用Shell命令描述构建行为。Shell命令支持模板语法（执行引擎为开源的 art-template），可以通过分割符['${{...
自定义任务模板
Steps是一个数组，执行引擎会按顺序执行每一个Step，每一个Step都是执行引擎的独立子进程。命令类型Step 命令类型Step可以让用户使用Shell命令描述构建行为。Shell命令支持模板语法（执行引擎为开源的 art-template），可以通过分割符['${{...
列存索引技术架构介绍
兼顾行列混合执行的优化器 由于存在行存和列存两套执行引擎，优化器在选择执行计划时有了更多的选择，其可以对比行存执行计划的Cost和列存执行计划的Cost，并使用代价最低的执行计划。在 PolarDB 中，除原生MySQL的行存串行执行外，还有...
执行引擎
执行引擎优势 Hologres的执行引擎（主要以HQE为主）是自研的执行引擎，通过与大数据领域最新技术结合，实现了对各种查询类型的高性能处理，主要具有如下优势。分布式执行 执行引擎是一个和存储计算分离架构配合的分布式执行模型。执行计划...
PolarDB PostgreSQL版：ePQ架构详解
原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到两大挑战：单条SQL在原生PostgreSQL执行引擎下只能在单个节点上执行，无论是单机串行还是单机并行，都无法利用其他节点的CPU、内存等计算资源，只能纵向Scale Up，不能横向Scale ...
CREATE TABLE
重要 目前Lindorm SQL不会进行NULL约束的校验，该校验工作是由存储引擎执行的。NULL约束的校验方式取决于存储引擎的校验规则，不同存储引擎的校验规则不同，因此在使用过程中可能会出现已指定NOT NULL但仍可写入NULL的情况。为保证数据能够...
MapReduce支持SQL运行时执行模式
hybrid：优先尝试使用SQL引擎执行，不通过时会回退到MapReduce引擎执行。您可通过两种方式设置执行模式：Project级别控制 全局性统一打开，针对所有作业有效，需要Project管理员执行如下命令：setproject odps.mr.run.mode=;Session级控制 ...
任务运行诊断
DataWorks会将任务下发至对应的引擎执行，若SQL语句执行失败，您可查看相应引擎文档定位原因。检查同步任务执行情况 若数据集成同步任务开始执行，表示DataWorks的调度系统已经开始调度该任务。但任务是否已经开始同步数据，需根据详细的...
Hue连接开启LDAP认证的引擎
Hue作为一个数据开发平台，支持连接各种执行引擎，例如Hive、Spark、Impala和Presto。当这些执行引擎开启LDAP认证后，Hue需要进行相应的配置后才能成功连接。本文介绍如何配置Hue连接开启LDAP认证的执行引擎。前提条件 已创建E-MapReduce的...
PolarDB HTAP实时数据分析技术解密
兼顾行列混合执行的优化器 存在行存和列存两套执行引擎，优化器在选择执行计划时有了更多的选择。其可以对比行存执行计划的Cost和列存执行计划的Cost，并使用代价最低的执行计划。在PolarDB中，除原生MySQL的行存串行执行外，还有能够发挥...
Pipeline执行引擎
云数据库 SelectDB 版 支持基于Push模式驱动的Pipeline执行引擎。其减少了线程切换和线程阻塞所导致的执行开销，提高了CPU的利用效率，并减少了大查询对小查询的资源挤占问题。从而提高CPU在混合负载SQL上执行时的效率，提升了SQL查询的...
数据库管理
无论是冷数据归档还是数据到期清理工作，都是通过时序引擎的异步compaction任务执行的，因此，冷数据归档和TTL数据清理可能存在滞后的情况。对Database既设置了冷热分界线，又设置了TTL的情况下，已归档的冷数据的时间戳如果超过了TTL定义...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
任务调试流程
您可进入运行历史页面，查看任务运行日志或停止已经下发执行的任务。新建临时查询文件 若您仅需在数据开发（DataStudio），即开发环境，查询数据及相关SQL代码，测试代码的实际情况与期望值是否相符或验证代码的正确性；而无需将数据或SQL...
SQL版本说明
Lindorm SQL的版本是不断升级迭代的，部分SQL语法需要SQL引擎升级到一定版本之后才能支持。因此在引擎中使用Lindorm SQL时，您需要关注引擎的SQL版本是否符合要求。本文介绍Lindorm SQL的版本说明和版本查看方法。通过SQL语句查看SQL版本 ...
基本概念
当脚本文件中的逻辑超出了安全配置的限制，引擎将拒绝执行 SQL 脚本文件，任务将会执行失败。表结构 表结构定义了数据表中指定的数据字段，以及每组数据字段的数据类型和字段描述。表结构模板 表结构模板是多个数据表共同遵循的表结构。...
Spark SQL执行方式
特点 同一个资源组中的SQL由共享的ThriftServer引擎执行，并返回1000条结果到控制台。资源隔离是线程级的。多个用户在同一个Spark应用中执行SQL，相互之间可能存在干扰。线程级的配置可以通过配置SQL生效。应用级别的配置，需要重启...
SHOW PROCESSLIST
SHOW PROCESSLIST语法用于展示宽表引擎和时序引擎中正在执行的SQL语句及其详细信息，可以帮助您定位慢查询和无效查询。引擎与版本 SHOW PROCESSLIST语法适用于宽表引擎和时序引擎。宽表引擎仅2.6.2及以上版本支持SHOW PROCESSLIST语法。...
巨量引擎子任务
推送进度将显示已执行的子任务数/子任务总数，单击右侧的，可展开子任务信息，包括相应的广告主账号、推送后人群包名称、任务类型（含原始任务、拓展任务）、可用人数（推送后巨量引擎系统中匹配到的人数）、是否推送成功等。
执行引擎
AnalyticDB PostgreSQL版 搭载自研向量执行引擎，针对火山模型的缺点和现代硬件的特点，结合向量化计算、即时编译（Just In TIme，JIT）等技术，专注于执行性能、特别是OLAP场景的执行性能提升。向量化计算模型 AnalyticDB PostgreSQL版 ...
创建手动任务
进入手动业务流程功能界面 您需要前往 DataStudio（数据开发）>手动业务流程 页面，通过手动业务流程创建手动触发执行的任务。进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在...
Spark Native引擎使用说明（Beta）
例如，在遇到不支持的数据类型、function时，Spark Native引擎会fallback到原生Spark引擎执行，并不会影响作业最终执行完成。由于fallback需要进行必要的数据转换，fallback次数过多，可能会导致总体运行时间比原生Spark引擎更慢。因此，当...
操作权限控制
说明 DataWorks成员与EMR用户权限映射关系详情可参考：准备工作：绑定EMR引擎 生产运维中心执行任务（生产环境执行任务）使用在引擎配置时候指定的生产环境指定的账号访问所有引擎资源。权限控制：管理者可以使用EMR集群内的Ranger组件对每...
功能发布记录
例如，云虚拟主机连接FTP服务器后，您可以通过查看FTP日志了解具体的连接时间、远程连接地址、执行描述以及认证信息等。下载或删除网站日志 Linux操作系统增强版云虚拟主机支持使用文件管理器的目录分析功能。通过使用文件管理器的目录分析...
基本概念
执行引擎（Query Engine，QE）主要有3个，执行引擎的技术原理请参见 Hologres执行引擎技术揭秘。HQE（Hologres Query Engine）Hologres自研执行引擎，采用可扩展的MPP架构全并行计算，向量化算子发挥CPU极致算力，从而实现极致的查询性能。...
构建全量数据索引
执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据的构建由LTS完成，可以在LTS页面中查看。登录LTS操作页面。在Lindorm控制台上单击目标实例ID...
基础术语
Enclave Enclave 飞地是在 TEE 中执行的代码程序。可信计算服务的提供者在可信执行环境中部署可信计算引擎程序时，需要对该程序进行度量获得代码度量值 MREnclave，并用代表可信计算服务提供者身份的密钥对该程序进行签名，签名公钥的度量...
慢查询诊断
定位 慢查询 Lindorm默认会通过UUID标识执行的语句，您可以通过 SHOW PROCESSLIST 语句展示宽表引擎中正在执行的全部查询的相关信息。SHOW PROCESSLIST 的SQL用法如下：SHOW PROCESSLIST;说明 SHOW PROCESSLIST语句执行结果展示的视图内容...
名词解释
FSM触发和执行机制 变更类型 允许重复触发 说明 服务发现 是 可以理解为把引擎的IP挂载到域名下以供调用。针对同一个集群的情况下，最新的变更执行前会终止所有旧的变更 ha3_biz_apend 否 添加biz，由系统自动触发有且仅有一个，该变更可能...
场景：MaxCompute引擎在不同模式工作空间访问资源与...
DataWorks包括简单模式和标准模式两种工作空间模式，本文为您详细介绍MaxCompute引擎在不同模式工作空间的权限管理特征、资源访问行为差异。前提条件 已了解 简单模式与标准模式的区别。已了解 MaxCompute数据权限控制。...
查询计划概述
不同数据引擎中，explanation字段的信息可能包含不同的信息，具体如下：数据引擎 explanation包含信息 宽表引擎 返回在宽表引擎上执行的运算内容。包含以下信息：索引的选择。数据扫描的方式。数据扫描的范围。数据过滤条件。时序引擎 返回...
产品架构
其中执行引擎（Query Engine，QE）主要有三个，执行引擎的技术原理请参见 Hologres执行引擎技术揭秘。HQE（Hologres Query Engine）Hologres自研执行引擎，采用可扩展的MPP架构全并行计算，向量化算子发挥CPU极致算力，从而实现极致的查询...
巨量引擎任务管理
推送进度将显示已执行的子任务数/子任务总数，单击右侧的，可展开子任务信息，包括相应的广告主账号、推送后人群包名称、任务类型（含原始任务、拓展任务）、可用人数（推送后巨量引擎系统中匹配到的人数）、是否推送成功等。
巨量引擎任务管理
推送进度将显示已执行的子任务数/子任务总数，单击右侧的，可展开子任务信息，包括相应的广告主账号、推送后人群包名称、任务类型（含原始任务、拓展任务）、可用人数（推送后巨量引擎系统中匹配到的人数）、是否推送成功等。右上角的搜索...
XUANWU_V2引擎介绍（邀测中）
本文为您介绍 云原生数据仓库 AnalyticDB MySQL 版 表引擎（XUANWU_V2）和相关组件（Compaction Service）的使用方法。前提条件 满足以下两个条件的集群支持XUANWU_V2引擎：产品系列为 湖仓版（3.0）。内核为3.2.0及以上版本。说明 如何...
营销引擎云码FAQ
本文主要介绍 营销引擎云码 产品的相关问题。什么是 营销引擎云码 简单讲，营销引擎云码 属于营销拉新平台型产品，主要可以把线下消费者引导到线上店铺，成为你品牌的粉丝或会员。为什么用 营销引擎云码 覆盖广 百万级线下智能终端设备覆盖...
请求结构
Action：要执行的操作，如调用DescribeInstances查询已创建的城市视觉智能引擎实例。Version：要使用的API版本，城市视觉智能引擎的API版本是2018-10-30。Parameters：请求参数，每个参数之间用“&”分隔。请求参数由公共请求参数和API...
归档为CSV或ORC格式
归档普通表 冷数据归档执行的是表归档操作，执行冷数据归档操作后的表称为归档表（只读），归档表的引擎为OSS引擎，归档表的数据文件存储在OSS上。执行冷数据归档操作后，原来本地表在PolarStore上占用的空间将被释放。语法 归档为 CSV ...
- 产品推荐
- 这些文档可能帮助您