Node Labels特性使用
基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node Label，所以可以使用 Node Label将整个YARN集群划分为不相交的节点集合。默认节点属于DEFAULT分区（partition=""，空字符串）...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
BigQuery数据迁移至MaxCompute
可选：如果您未创建存储分区，请登录 OSS管理控制台，创建保存迁移数据的分区（Bucket），详情请参见 控制台创建存储空间。可选：如果您未创建RAM用户，请创建RAM用户并授予相关权限。登录 RAM访问控制台，创建RAM用户，详情请参见 创建RAM...
PolarDB MySQL版DDL操作指南
ERROR 0A000:ALGORITHM=INPLACE is not supported.Reason:Cannot change column type INPLACE.Try ALGORITHM=COPY.VARCHAR类型属于变长存储类型，磁盘仅存储实际长度，因此建议您在使用VARCHAR类型的字段时，考虑将最大长度直接调整到256个...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
如何优化高并发IM系统架构
表格存储支持数据生命周期管理，可对过期数据进行自动清理，节省存储费用。表格存储价格便宜，且稳定可靠。表格存储读写性能极佳，对于聊天消息，延迟基本在毫秒，甚至微秒级别。表格存储表结构的主键列部分请参见下表。主键顺序 主键名称 ...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
块存储FAQ
本文汇总了使用块存储时的常见问题。存储容量单位包SCU问题 什么是存储容量单位包SCU？哪些块存储产品可以使用存储容量单位包SCU？存储容量单位包SCU可以单独使用吗？存储容量单位包SCU的抵扣规则是什么？SCU如何计费？SCU可以退款吗？ESSD...
5.6/5.7/8.0版功能对比
❌ 部分索引（Partial Index）❌ 全局二级索引（GSI）❌ 在线分区维护 ❌ 创建只读分区 ❌ 创建混合分区 ❌ 自动化管理分区 ❌ 查询优化（Query Optimizer）功能 集群版 子查询解关联 ❌ 基于代价的查询变换 ❌ Limit Offset下推 ❌ 谓词...
新功能发布记录
购买实例 集群变配能力整体优化 将现有变配能力做了进一步分类，按照临时变配、标准变配等能力进行了归类，增加了将临时存储和规格转为永久存储和规格的能力，更灵活的适配云上客户的业务变化。配置概述 备份恢复能力增强 新增 V4.0 及之后...
计算节点变配
增加计算节点与减少计算节点的耗时与实例模式相关，具体信息如下：存储弹性模式 根据数据量的不同，实例规格变配的过程大约需要30分钟到数十个小时不等，与表数量、分区表数量、索引数量、是否压缩、总数据量、实例规格等因素相关。...
分区表简介
本文详细介绍了 PolarDB PostgreSQL版 分区表功能的优势和特性。概述 在 PolarDB PostgreSQL版...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
创建同步MaxCompute
分区模式 分区模式决定了将数据写入到MaxCompute哪个分区中，目前DataHub支持以下分区方式：分区模式 分区依据 支持Topic类型 说明 USER_DEFINE Record中的分区列（和MaxCompute的分区字段同名）的value值 TUPLE(1).DataHub schema中必须...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
变更云盘的性能级别
创建云电脑时您可以通过创建自定义模板选择规格，其中企业图形型或高主频办公型默认...云盘变配过程中，云电脑在 云电脑（专业版）管理 页面显示的状态为 变配中，变配完成后恢复至变配前云电脑状态。相关文档 云盘概述 ESSD云盘 块存储计费
数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
开启和使用冷数据分层存储
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 14.9.13.0及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有存储数据，开启该功能本身不会产生费用。...
开启和使用冷数据分层存储
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版（兼容Oracle）2.0.14.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有...
表分区
要在这种情况下使用声明式分区，可采用下面的步骤：通过指定 PARTITION BY 子句把 measurement 表创建为分区表，该子句包括分区方法（这个例子中是 RANGE）以及用作分区键的列列表。CREATE TABLE measurement(city_id int not null,logdate...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
容器与云原生
容器挂载 使用NAS动态存储卷创建有状态应用 存储管理-CSI NAS卷使用说明 存储管理-CSI 通过NFS使用NAS静态存储卷 存储管理-CSI 通过NFS使用NAS动态存储卷 容器应用 阿里云ACK服务使用Windows容器挂载NAS SMB最佳实践 容器服务ACK+文件存储...
ODS层设计规范
数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
Spark SQL创建C-Store表
例如，指定这个表数据全部存储在SSD，或者全部存储在OSS，或者指定这个表的一部分二级分区存储在SSD，另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列，最大N个分区...
客户端工具
本文主要为您介绍表格存储客户端管理工具。简介 表格存储客户端管理工具在本地安装之后，提供图形化的操作...相关文档 您还可以通过表格存储管理控制台、命令行工具和SDK方式创建表以读写数据。具体操作，请参见 数据表操作 和 基础数据操作。
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储...您可以为存储优化任务设置月度计划，使用OSS提供的各种存储管理功能来监控存储成本并评估资源使用情况，从而简化存储优化工作。
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
查看分区状态
分区用于存储消息，每个Topic由一个或多个分区组成，分区状态展示了各个分区的消息总量、最大及最小消费位点。当Kafka集群出现消息堆积、磁盘水位过高等异常情况时，可查看分区状态了解服务端的消息量及各个分区的消费进度，定位异常原因。...
DDL操作常见问题
生命周期操作 设置表的生命周期为3天，每个表的分区存储量很大，如何清理分区表旧数据？MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？不支持虚拟表，您可以手动创建DUAL表。MaxCompute的表有无索引？没有索引，Hash Clustering可以提供...
Web服务和内容管理
文件存储NAS可用于各种内容管理系统和Web服务应用程序，为网站及应用程序提供高效存储服务。本文列举了Web服务的最佳实践案例。使用Nginx代理服务器代理阿里云NAS 通过Windows IIS服务访问阿里云NAS 容器服务ACK+文件存储NAS快速搭建NGINX...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如...
创建和管理自定义存储表
管理自定义存储表 重要 自定义存储表可应用于数据服务的多个功能，需注意以下几点：SQL分析任务的结果存储到自定义存储表时，自定义存储表的表结构字段已添加并保存。无数据输出的自定义存储表，仅可作为一个数据解析或SQL分析任务的输出...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_date='202112',region='hangzhou')...
NAS存储卷概述
前提条件 使用NAS数据卷之前，您需要在 文件存储管理控制台 上创建文件系统，并在文件系统中添加挂载点。创建的NAS文件系统挂载点需要和您的集群位于同一VPC。例如，您的挂载点为 055f84ad83-ixxxx.cn-hangzhou.nas.aliyuncs.com 格式。...
HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
- 产品推荐
- 这些文档可能帮助您