Query洞察

Query洞察旨在结合 慢Query日志 和统计信息日志系统hg_table_info,快速获取当前Query的执行信息,例如Query进程的资源消耗、Query所涉及的的元数据,以及Query对应的执行计划(plan)。同时可以通过Query洞察快速判断当前Query是否...

开启无锁结构变更

原生无锁优先,失败转DMS执行 优先尝试使用数据库原生OnlineDDL无锁执行,如果DMS检测到原生执行会锁表或失败,则自动转用DMS自研的DDL无锁变更引擎执行,以保障不锁表。执行时间相对比较快,但有可能导致实例的并行复制降为串行复制,从而...

MySQL四种能规避因数据库变更导致锁表问题的功能

概述 MySQL在大数据量的情况下进行结构变更(增加字段、修改字段属性、增加索引、修改索引等),需要考虑锁表的风险,锁表可能导致业务无法正常写入。本文主要介绍四种能较好地规避因数据库变更导致锁表问题的功能。详细信息 功能 优点 ...

无锁结构变更概览

DDL无锁变更能够有效解决结构变更时锁表的问题,较好地规避了因锁表导致业务阻塞的问题、避免了数据库原生Online DDL带来的主备延迟现象。您可在业务低峰期提交无锁变更。背景信息 在数据量大的情况下进行结构变更,需要考虑锁表的风险,...

PolarDB MySQL 8.0.2版支持的DDL执行方式

本文从以下几方面介绍了8.0.2版本的支持情况:是否允许并发DML(是否锁表):非锁表的DDL(支持Online DDL功能)只在修改元数据时申请表互斥锁(持续时间一般不超过1秒),在表结构变更期间允许对目标表进行读写操作,提高了在生产环境中的...

空间回收

锁表回收空间,只能回收部分空间。频率:对于有较多实时更新的表,每天做一次。如果更新是每天一次批量进行的,可以在每天批量更新后做一次。对系统影响:不会锁表,表可以正常读写。会导致CPU、I/O使用率增加,可能影响查询的性能。什么...

云数据库RDS SQL Server版查看信息

免责声明:本文档可能包含第三方产品信息,该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响,不做任何暗示或其他...说明:sessionid为 锁表的进程。objectname为 被锁的表名。适用于 云数据库RDS SQL Server版

以及排查

操作/锁范围 表 数据锁 行数据 Schema锁 CREATE 不涉及 DROP 说明 一旦DROP命令获取锁,无法执行其他命令,其他命令会等待锁,直到发现表被删除了,则其他命令失败。说明:不涉及 不涉及 说明 与其他操作都冲突。ALTER 说明 与DROP...

无锁结构变更

DMS为解决结构变更时的锁表问题而推出的无锁结构变更功能,能较好地规避因数据库变更导致锁表以至于阻塞业务的现象、以及数据库原生Online DDL带来的主备延迟现象。前提条件 实例的管控模式为稳定变更或安全协同。更多信息,请参见 管控...

非阻塞DDL

Nonblock DDL规避了执行DDL过程中MDL锁长时间获取不成功导致的连接堆积和阻塞,有效地解决了DDL导致的锁表问题。背景信息 用户在执行DDL操作的时候,若目标表存在未提交的长事务或大查询,DDL将持续等待获取MDL-X锁。在 PolarDB 中由于MDL-...

同步时源库为PostgreSQL的注意事项及限制

对于表级别的数据同步,如果除DTS以外的数据没有写入目标库,您可以使用数据管理DMS(Data Management)来执行在线DDL变更,请参见 不锁表结构变更。在DTS同步期间,不允许有除DTS外的数据写入目标库,否则会导致源库与目标库数据不一致。...

分区常见问题

支持 创建和删除分区表时,是否会锁表?PolarDB MySQL版 8.0.2版本支持分区粒度锁,只锁住当前操作的分区,避免了大事务阻塞DDL,从而不影响其他分区的DML操作。具体请参考 在线分区维护。使用 PolarDB MySQL版 分区,会不会导致性能下降?...

pg_locks

pg_locks 视图提供了数据库服务器上活动进程中保持的的信息。简介 pg_locks 视图对每一个活动可对象、请求模式和相关进程的组合都有一行。因此,如果多个进程持有或者正在等待一个可对象上的,同一个可对象可能出现多次。但是...

DML无锁变更概览

此类问题通常可通过分批执行的方法解决,但是仍存在风险,例如:研发写程序分批处理:分批方式不当,例如直接 LIMIT 进行分批,可能仍会锁表。分批执行的频率没有控制好,会造成主备延迟过大。DBA提取目标数据手动拆分:人工拆分非常繁琐...

pg_locks

pg_locks 视图提供了数据库服务器上活动进程中保持的的信息。简介 视图 pg_locks 提供了数据库服务器上活动进程中保持的的信息。pg_locks 中对每一个活动可对象、请求模式和相关进程的组合都有一行。因此,如果多个进程持有或者...

LOCK

在为引用的命令自动获取时,PolarDB总是尽可能使用最不严格的模式。提供 LOCK TABLE 是用于想要更严格的锁定的情况。例如,假设一个应用运行一个 READ COMMITTED 隔离级别的事务,并且需要确保一个中的数据在该事务的期间保持稳定...

手工概述

详情:查看的详情信息,包括 数据名、负责人、手工最近修改人、手工最近修改时间、描述、结构。版本:支持查看的发布版本信息,包括 版本更新时间、负责人、更新操作类型。搜索:支持查找当前数据或替换数据内容。自...

手工概述

详情:查看的详情信息,包括 数据名、负责人、手工最近修改人、手工最近修改时间、描述、结构。版本:支持查看的发布版本信息,包括 版本更新时间、负责人、更新操作类型。搜索:支持查找当前数据或替换数据内容。自...

系统

本文将会为你介绍Hologres中的系统以及每个如何使用。概述 Hologres系统的组成如下所示。使用场景 hologres.hg_table_properties 查看当前数据库下Hologres所有以及属性。pg_catalog.pg_tables 查看、视图等关系的信息...

数据库

重量级,也称为管理器或者简单,主要保护 SQL 可见的对象,例如。不过,它们也被用于确保特定内部操作的互斥,例如关系扩展。wait_event 将标识等待的的类型。BufferPin:服务器进程正在等待访问数据缓冲区,而此时没有其他...

数据库

重量级,也称为管理器或者简单,主要保护 SQL 可见的对象,例如。不过,它们也被用于确保特定内部操作的互斥,例如关系扩展。wait_event 将标识等待的的类型。BufferPin:服务器进程正在等待访问数据缓冲区,而此时没有其他...

Query管理

说明 be_lock_waiters和be_lock_converting_waiters采集的都是backend的,而不是frontend的,排查请参见 以及排查。支持 不支持 state 表示连接的状态。常见的状态如下:active:活跃。idle:空闲。idle in transaction:长事务...

参数调优建议

innodb_autoinc_lock_mode 适用版本:8.0、5.7、5.6、5.5 修改完后是否需要重启:是 作用:在MySQL 5.1.22后,InnoDB为了解决自增主键锁表的问题,引入了参数innodb_autoinc_lock_mode,用于控制自增主键的锁机制。该参数可以设置的值为0、...

基于Hadoop集群支持Delta Lake或Hudi存储机制

使用限制 基于Hadoop集群支持Delta Lake或Hudi存储机制湖仓一体方案,使用限制如下:仅华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国香港、新加坡和德国(法兰克福)地域支持构建湖仓一体能力。操作流程 本文以阿里云...

YARN高安全特性使用指南

YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop,其中 hadoop 前有单个空格,表示授权给hadoop组(EMR的服务启动Linux用户通常都是使用hadoop组)作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...

DTS 迁移过程中,是否会锁表,对源数据库是否有影响?

DTS 在进行全量数据迁移和增量数据迁移的过程中,均不会对源端数据库进行锁表,因此在全量数据迁移和增量数据迁移的过程中,迁移源端的数据表均可以正常读写访问。

在ECI中访问HDFS数据

usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...

通过DataWorks将Hadoop数据同步到阿里云ES

当您基于Hadoop进行交互式大数据分析查询,遇到查询延迟的问题时,可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型,特别是即席查询(Ad Hoc),基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务,...

Hive作业异常排查及处理

hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析:在Hive lib目录($HIVE...

RDS MySQL中等待的介绍

概述 本文主要介绍在RDS MySQL中等待的介绍。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议...

作业配置指南

设置为true时将使用标准snappy库解压,否则使用hadoop默认的snappy库解压。访问用户VPC 和 连接用户数据源 相关参数:参数名称 默认值 参数说明 spark.dla.eni.enable false 这个参数为true表示启用打通VPC功能。spark.dla.eni.vswitch.id ...

MaxCompute+Hadoop搭建实践

本文以E-MapReduce的Hive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的数据。准备Hadoop数据源 创建Hadoop集群,具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后,在终端...

在文件存储 HDFS 版上使用Presto

建议您使用Hadoop版本不低于2.7.2,本文档中使用Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

Hadoop DistCp介绍

使用方法 Hadoop DistCp最常见的调用是集群间拷贝,例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下:hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明,请参见 Hadoop社区的DistCp使用...

什么是OSS-HDFS服务

引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...

RDS MySQL如何管理长时间执行的查询

出现原因 在使用RDS MySQL的过程中,由于某些原因,例如被SQL注入、SQL执行效率较差、DDL语句引起元数据等待等,会出现运行时间很长的查询。说明:元数据等待的问题请参考 解决MDL导致无法操作数据库的问题。由于SQL执行效率差而...

使用SQL管理外部项目

本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的进行管理,例如查询或更新数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后,可以使用SQL方式操作External Project,场景如下...

系统管理函数

这可以与 pg_stat_replication 或备份控制函数中所示的一些函数一起使用,以获得复制延迟。pg_current_wal_lsn 显示当前预写式日志写位置,与上述函数所用的格式相同。类似地,pg_current_wal_insert_lsn 显示当前预写式日志插入位置,pg...

数据膨胀诊断

AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能,可以定期自动诊断数据库内的所有,并生成诊断信息。您可以通过诊断信息,查看的膨胀情况并获得相应的处理建议(如执行VACUUM或VACUUM FULL操作)。注意事项 智能诊断数据膨胀...
共有72条 < 1 2 3 4 ... 72 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储
新人特惠 爆款特惠 最新活动 免费试用