为什么数据写入、更新或删除后表大小无变化？
表格存储数据表基于LSM架构实现，数据会采取追加写入的方式写入内存，当数据满足一定条件后会转存形成一个小的数据文件。对于单行数据的多次更新与删除操作可能会分散到多个小文件中，直接计算所有文件大小会造成冗余计量。而系统会定期...
基本原理
SessionServer 接收到订阅请求 subReq 后，进行下述操作：首先将订阅请求 subReq 写入内存：发送过来的 subReq 数据，SessionServer 都会存储到内存，用于实现数据变更推送的功能。然后尝试从缓存里获取相应 dataInfoId 中的待发布数据。...
使用mount命令挂载ext4文件系统
当数据从内存写入磁盘时才真正分配数据块，会有一次周期性的大块写操作，导致数据块分配延迟。数据安全性要求较高 如果您非常重视文件系统的数据安全，建议您使用 rw、atime、sync、barrier、data=journal 参数挂载文件系统。sudo mount-o ...
X-Engine简介
LSM基本逻辑 LSM的本质是所有写入操作直接以追加的方式写入内存。每次写到一定程度，即冻结为一层（Level），并写入持久化存储。所有写入的行，都以主键（Key）排序好后存放，无论是在内存中，还是持久化存储中。在内存中即为一个排序的...
如何基于LSM-tree架构实现一写多读
图 1.PolarDB（X-Engine）架构图 X-Engine引擎架构 X-Engine引擎采用LSM-tree结构，数据以追加写的方式写入内存，并周期性物化到磁盘上，内存中数据以memtable形式存在，包括一个活跃的active memtable和多个静态的immutable。磁盘上数据...
数据库
buffer_content 正等待读取或者写入内存中的数据页。buffer_io 正等待一个数据页面上的 I/O。replication_origin 正等待读取或者更新复制进度。replication_slot_io 正等待复制槽上的 I/O。proc 正等待读取或者更新 fast-path 锁信息。...
数据库
buffer_content 正等待读取或者写入内存中的数据页。buffer_io 正等待一个数据页面上的 I/O。replication_origin 正等待读取或者更新复制进度。replication_slot_io 正等待复制槽上的 I/O。proc 正等待读取或者更新 fast-path 锁信息。...
TairSearch性能白皮书
c 20-n 1000000-a 127.0.0.1:6379 测试结果：对比项 QPS（次/秒）Average Latency（毫秒）99th Percentile Latency（毫秒）最终内存占用（GB）TairSearch 22615.15 0.874 1.735 1.39 RediSearch 18295.10 1.092 2.352 1.67 写入中文数据 ...
如何解决Redis内存使用率突然升高
如果入流量与写QPS的趋势与内存使用率的趋势一致，说明大量的数据写入导致内存使用率突然升高。解决方案：通过设置Key的过期时间自动清理不再需要的Key，或手动删除不再需要的Key。升级实例规格，通过增加内存容量缓解内存使用率升高的问题...
Logstash性能排查
Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此队列提取一批事件，通过filter对事件做预处理，最后通过output输出预处理后的事件。本文结合日常实践，为您提供...
通过Spark SQL读写C-Store表数据
600 spark.adb.write.arrow.maxMemoryBufferSize 写入最大内存缓冲大小。取值范围为大于0的正整数，单位为MB。说明 仅离线写入数据时，支持配置该参数。1024 MB spark.adb.write.arrow.maxRecordSizePerBatch 单批次写入数据的最大记录条数...
UPDATE
数据更新时，会先将数据写入到内存表（Mem Table），然后异步Flush到文件。对于行存表，会直接将新数据Flush成一个新的文件，然后在Compaction的时候合并掉旧数据。对于列存表，内存中会构建一个标记表，记录删除数据所在的文件号（file id...
Event Time Column（Segment Key）
内存表有一定的大小，当内存表写满之后，系统会将内存表中的数据逐渐异步Flush到文件。写入时为了追求写入性能，都为Append Only方式写入，文件数会越来越多。因此系统会在后台周期将文件进行合并。如果设置了Event_time_column（Segment ...
排查Redis实例内存使用率高的问题
如果入流量与写QPS的趋势与内存使用率的趋势一致，说明大量的数据写入导致内存使用率突然升高。解决方案：通过设置Key的过期时间自动清理不再需要的Key，或手动删除不再需要的Key。升级实例规格，通过增加内存容量缓解内存使用率升高的问题...
云数据库HBase
sink.buffer-flush.batch-rows 同步写入HBase时内存中缓存的数据条数，调大该值有利于提高HBase写入性能，但会增加写入延迟和内存使用。Integer 否 100 仅当 sink.sync-write 为true时生效。说明 仅实时计算引擎VVR 4.0.13及以上版本支持该...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
多NUMA机型的容器内存就近访问加速
cat data.txt|redis-cli-pipe-h<redis-server-IP>-p<redis-server-port>done 在写入过程中，对Redis所在的NUMA部署高内存占用的混部业务（例如FFmpeg）进行内存增压，模拟Redis在运行过程中，因内存压力突发导致内存漂移到其他NUMA的现象。...
导入概述
write_buffer_size 导入数据在BE上会先写入到一个内存块，当该内存块达到阈值后才会写回磁盘。默认值为100 MB。过小的阈值可能导致BE上存在大量的小文件。您可以适当提高该阈值减少文件数量。但过大的阈值可能导致RPC超时，详细请参见参数 ...
导入概述
write_buffer_size 导入数据在BE上会先写入到一个内存块，当该内存块达到阈值后才会写回磁盘。默认值为100 MB。过小的阈值可能导致BE上存在大量的小文件。您可以适当提高该阈值减少文件数量。但过大的阈值可能导致RPC超时，详细请参见参数 ...
通过整库迁移配置集成任务
输出表格式为ORC且字段较多的场景下，内存足够时可尝试调大该配置提高写入性能，内存不足时可尝试调小该配置减少GC时间提高写入性能。默认 {"hive.exec.orc.default.buffer.size":16384}，单位字节（Byte），建议不要配置超过 262144字节...
使用向量检索插件（aliyun-knn）
同时，由于在向量索引的查询过程中，会把索引文件全部加载到系统内存，因此建议在业务查询期间，不要同时进行大批量的写入，避免因节点内存紧张导致分片重启的情况。说明 以上均为预估，以业务实际的应用情况为准，建议提前进行压测，并...
离线同步常见问题
写入DataHub时，一次性写入数据超限导致写入失败如何处理？使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增...
MySQL分库分表同步至Hologres（方案1.0）
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
基于Tair Vector实现图文多模态检索
{"results":[{"text":"奔跑的白色的狗","distance":"0.4052203893661499"},{"text":"白色的狗","distance":"0.44666868448257446"},{"text":"狗","distance":"0.4553511142730713"}]} 总结 Tair作为纯内存数据库，内置了HNSW等索引算法加快...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
2022年
登录登出触发器 批量写入支持全部写到缓存 新增 polar_enable_strat_bulkwrite 参数，用于控制session写入的数据占用缓存（cache）空间的大小，默认值为 true，取值如下：true：与原生PostgreSQL行为完全一致。每个session写入的数据只允许...
配置说明
delete.mode=none#写入数据表时内存中缓冲队列的大小，默认值为1024，单位为行数。此配置项的值必须为2的指数。buffer.size=1024#写入数据表时的回调线程数，默认值为核数+1。max.thread.count=写入数据表时的最大请求并发数，默认值为10。...
基于TairTS实现秒级监控
为此，TairTS支持对历史时序数据的原地更新或累加，保障多Collector并发写入正确性，同时节省内存空间。并发写入的代码示例如下：import com.aliyun.tair.tairts.TairTs;import com.aliyun.tair.tairts.params.ExtsAggregationParams;...
分场景排错指引
flushIntervalMs MaxCompute 写入HBase前，内存中缓存的数据量（字节）大小。sink.buffer-flush.max-size Hbase 写入HBase前，内存中缓存的数据条数。sink.buffer-flush.max-rows Hbase 将缓存数据周期性写入到HBase的间隔，可以控制写入...
Linux服务器内存消耗过高
echo 2>/proc/sys/vm/drop_caches 注：建议操作之前执行sync命令，将内存里的数据写入到磁盘里。检查/etc/sysctl.conf 文件中的如下字段，并设定合适的阈值。当系统内存达到阈值时，触发自动回收。vm.min_free_kbytes 最后需要排查业务中的...
Windows系统内存分析工具介绍
已修改内存：内容必须写入磁盘才能用于其他用途的内存。备用内存：包含未使用的缓存数据和代码的内存。可用内存：不包含任何有价值数据，以及当进程、驱动程序、操作系统需要更多的内存时优先使用的内存。缓存：当文件被打开时，系统会把...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据...数据库启动时会从KMS获取KEK，从而解密DEK，解密后的DEK存放在内存中，用于写入数据或读取数据时进行加密或解密。
Windows系统内存分析工具的介绍
已修改内存：内容必须写入磁盘才能用于其他用途的内存。备用内存：包含未使用的缓存数据和代码的内存。可用内存：不包含任何有价值数据，以及当进程、驱动程序、操作系统需要更多的内存时优先使用的内存。缓存：当文件被打开时，系统会把...
常见问题
数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量和内存使用量？如何处理查询时内存超出限制？如何处理查询报并发超限？在数据停止写入时，同一个查询语句每次查询的结果不一致，应该如何处理？为什么有时看...
Redis集群中某个节点缓存无法写入
问题描述 在使用阿里云云数据库Redis过程中，集群中某个节点缓存无法写入，且该节点内存使用率过高。问题原因 Redis实例某个节点缓存无法写入是因为数据写入到了一个节点中，存在Key分布不均情况，导致其中一个节点的内存过高。解决方案 请...
TairVector性能白皮书
示例如下：#多线程 python data_export.py-output out.csv-batch 测试结果 重点关注 写入性能、KNN查询性能 和 内存效率 方面的测试结果：写入性能：关注吞吐率，吞吐率越高，性能越好。KNN查询性能：关注QPS和召回率，QPS反映系统性能，...
租户内存使用率告警
规则信息 告警项 指标类型 监控指标名 默认阈值 持续时间（连续触发告警周期数）检测周期 告警级别 租户内存使用率告警 单指标 租户/租户内存使用率 85 3 1 分钟 Warn 对系统的影响 租户内存不够时，可能会导致 SQL 执行变慢或者写入失败。...
云监控控制台查看监控
内存使用比例 集群各节点的内存使用量与最多可使用内存容量的比值。内存使用量 集群各节点的内存使用量。单位：MB。每秒查询次数 每秒处理的查询次数。云数据库ClickHouse社区兼容版 监控项 说明 磁盘吞吐IOPS读 磁盘每秒进行读取操作的...
- 产品推荐
- 这些文档可能帮助您