填充数据库
如果没有统计数据或者统计数据过时，那么规划器在查询规划时可能做出很差劲决定，导致在任意表上的性能低下。需要注意的是，如果启用了 autovacuum 守护进程，它可能会自动运行 ANALYZE。9.关于 pg_dump 的一些注记 pg dump 生成的转储脚本...
云数据库 RDS MySQL 版收集表的统计信息
什么情况下需要收集统计信息 当表上有大量的数据修改时，例如从数据源加载大量数据（ETL）或者大量历史数据归档，建议手动收集表上的统计信息，以保证查询优化器可以选取最优的执行计划。如何收集统计信息 您可以 连接MySQL实例 后执行如下...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
深度解析Lindorm搜索索引（SearchIndex）特性
存储引擎层每个KV都有时间戳，如果业务写入时没有显示的设置，服务端会自动设置为系统时间戳，遵循"时间戳大的优先可见"的原则。业务自定义时间戳的写入，在构建索引时需要获取到所有的历史数据（包括删除的数据），才能准确判断当前的写入...
MaxCompute表数据
查看数据统计信息和分布情况 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为DataWorks智能数据建模生成的模型表。如果您需要使用智能建模功能，请参考 概述。浏览...
播放数据统计常见问题
由于采集、处理方式的不同，目前点播视频的播放数据统计和流量统计都有一定的时间延迟，且延迟时间不一致。因此您在查询最新数据时，看到的播放次数和流量数据在同一时间可能无法完全匹配。在查询大于延迟时间窗口的历史数据时（如查询前一...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
数据总览
此数据为离线统计，有T+1的延迟。存储量 为当前租户本地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有T+1的延迟。总API数 为当前租户本地域下，当前时间点，已发布至API网关...
ANALYZE
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。接下来，查询规划器会使用这些统计信息来帮助...
统计功能介绍
一、功能效果 网站管理者通过统计功能查看了解网站使用期间的数据，更好的进行针对性优化或推广。二、使用教程 统计功能包括：网站概况、渠道统计、栏目统计、产品统计、文章统计。1.网站概况 1.1 点击网站概况可以查看该网站在选择的时间...
性能调优
AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的一段时间内统计信息收集的工作量较大，CPU负载较高，完成...
可视化弹性成本分析
由于账单出账周期为 T+1，因此周一将没有本周累计花费的数据，每月第一日也将没有本月累计花费的数据。花费日环比为昨日集群成本与前一天之间的环比。本周累计花费（自然周）本月累计花费（自然月）花费日环比 花费趋势图 成本花费趋势情况...
实时同步任务延迟解决方案
但同步速度可能无法反映当前同步任务消费MySQL源端Binlog的实际速度，因为当事务或者变更涉及的库表没有包含在同步任务的配置中，同步任务会将这部分数据在读取过后过滤掉，也不计入对同步速度和数据量统计。如果确认是大事务或者临时的...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
EMR+DLF数据湖解决方案
新建大数据集群，已有数据存在在OSS中，但没有元数据信息。可以使用 元数据抽取 来识别OSS上数据的元数据信息，并存储在DLF中。步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过...
PolarDB MySQL版CPU使用率高
如下图所示：此类问题可以将 innodb_adaptive_hash_index 参数关闭，也就是直接弃用AHI特性，已有数据表明在混合读写的场景下AHI也有可能带来负面的性能影响，关闭后对整体业务的影响不是很大。系统BUG 系统BUG是相对少见的问题，例如比较...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
统计信息
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
统计信息
手动收集统计信息 收集全表统计信息 ANALYZE TABLE 命令会扫描全表来收集统计信息，对于数据量大的表，全表收集统计信息需消耗更多的时间，建议在业务低峰期执行或采样收集统计信息。语法 ANALYZE TABLE[schema_name.]table_name[UPDATE...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
2022年
2022年3月 修复栅格对部分数据统计时失败的问题。2022年3月 V1.1.20 内核小版本 类别 名称 描述 相关文档 发布时间 新增 支持表的闪回删除 新增闪回删除功能，可以快速恢复已经删除的表，以及查看和清理回收站。闪回删除 2022年1月 PX多级...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
存储成本优化
删除废表 建议您定期地删除访问跨度大（即长期不会访问）的废表，因为这些表的意义并不大，会极大地浪费存储资源，例如：3个月内没有被访问的表。一张表是非分区表，同时最近1个月内没有被访问。存储为0KB的表，即没有存储的表。
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
基本概念
数据探查 内置算法：内置多种数据统计分析算法，根据不同字段类型采用不同的计算统计规则。数据标准 数据标准：是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，数据标准可定义逻辑表的命名规范、字段的取值范围、度量单位等...
公开数据集概述
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
检查索引使用
尽管本数据库中的索引并不需要维护或调优，但是检查真实的查询负载实际使用了哪些索引仍然非常重要。检查一个独立查询的索引使用情况可以使用EXPLAIN命令。也可以在一个运行中的服务器上收集有关索引使用的总体统计情况。很难明确地表达...
开发运维建议
如果应用没有连接池，建议在应用层和数据库之间架设连接池，例如使用PgBouncer或者Pgpool-II作为连接池。应用连接池参数的配置建议：minimumIdle=1：控制连接池空闲连接的最小数量，减少idle connection。说明 当前大多数连接池已取消了 ...
规划器使用的统计信息
由于样本的尺寸会随着表或者表列的统计信息目标（如前一节所述）增大而增加，更大的统计信息目标通常将会导致更准确的扩展统计信息，同时也会导致更多花在计算扩展统计信息之上的时间。下面的小节介绍当前支持的扩展统计信息类型。2.1.函数...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
Tunnel命令常见问题
本地服务器每天采集的网站日志有10 GB，需要上传至MaxCompute，在使用Tunnel Upload命令上传时速度约为300 KB/S，如何提升上传速度？上传数据时，每个Session的生命周期是一天，因源表数据太大，导致Session超时任务失败，如何解决？上传...
- 产品推荐
- 这些文档可能帮助您