基于Delta lake的一站式数据湖构建与分析实战
数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如 OSS等对象存储中，并对外提供统一的数据目录，支持多种计算分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。...
PolarDB-X适用场景
数据集中存储 场景描述 该场景也称“数据大集中”或“数据归集”，属于企业数据架构中的ODS层，具有承担各垂直业务数据源的数据汇总功能。高并发写入、大容量存储、多维度查询、低成本流出是该场景的主要诉求。产品能力 PolarDB-X 可根据...
高压缩引擎（X-Engine）介绍
适用场景 PolarDB 高压缩引擎（X-Engine）提供了超大存储容量，它可以同时作为多个业务历史数据的汇聚地，以方便对所有历史数据进行集中存储和管理，主要适用于如下几个场景：将 PolarDB 高压缩引擎（X-Engine）作为线下自建数据库实例的冷...
数据上云工具
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
数据存储生命周期管理
本文介绍存储保存时间迁移策略。生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当...
冷热数据分层存储
冷热数据分层存储提供了两种存储策略，具体如下：存储策略 详情 默认存储策略 将新写入的数据存储在热数据盘中，提供高效查询。当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，...
开启智能存储分层
归档存储数据保存 数据在Logstore归档存储层中的存储时间，当数据的存储时间超过您所配置的 归档存储数据保存 时间后，数据将自动删除。归档存储数据保存 时间至少为60天。取值范围为60～3650，单位：天。重要 归档存储层数据保存 时间参数...
什么是备份数据量
存储数据量 存储数据量指存放存储介质的实际数据大小。与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物...数据存储：长期保存数据，需要支持单表规模极大以及高性价比存储。监控&IoT场景中可使用 表格存储 的物联网架构来实现。场景架构如下图所示。
冷数据存储计费规则（可选）
本文介绍了开启冷数据归档功能后，在冷数据存储方面的计费规则。当 开启冷数据归档 后，PolarDB 企业版支持将集群的冷数据转存至低成本的OSS上进行存储，以降低数据存储成本。说明 更多关于冷数据归档的详细介绍，请参见 冷数据归档概述。...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
存储类型概述
解冻后访问会产生归档存储数据取回容量费用，直接访问会产生归档直读数据取回容量费用。归档存储适用于数据长期保存的业务场景，例如档案数据、医疗影像、科学资料、影视素材等。提供归档存储-本地冗余（LRS）和归档存储-同城冗余（ZRS）两...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
数据服务系统配置
当您修改时长小于之前设置的时长（例如：之前设置的是30天，现在修改变成20天），保存时需再次确认是否删除统计数据存储周期变小的时间段，如下图对话框中所示的时间区间。单次查询跨度小于等于：默认是31天，维度仅支持天，支持最大数值不...
管理EventStore
按需配置热存储数据保存时间，并选择后续 自动转换 为 低频存储 时，数据保存超出配置的保存时间后，将自动转入低频存储层。若配置低频存储时间后选择 自动删除，则数据保存在低频存储层超出配置的保存时间后将自动删除。按需配置热存储...
时序模型计量计费
分析存储 数据存储 按量付费 资源包 按照容量型存储计费。分析存储相比时间线数据具有更高的压缩率。按量写吞吐量 按量读吞吐量 按量付费 资源包 按照容量型读写计费。按照SQL引擎访问分析存储实际产生的数据扫描量计算CU，其中读取4 KB...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
TPC-DS数据
由于TPC-DS数据集存放于支持按Schema存储的项目下，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。由于是跨项目访问数据，为了保证SQL运行效果，您需要...
数据重排
本文以MaxCompute公共数据集中表为例为您介绍如何通过数据重排方式进行存储优化。背景信息 数据重排就是根据数据的特征把具有相同列值字段通过排序放在一块，以提高压缩率。MaxCompute中支持以下排序方式对数据进行重排：ORDER BY：全局...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
数据存储冷热分离
AnalyticDB MySQL版 弹性模式集群版（新版）（3.1.3.3及以上版本）支持表或分区级别的数据存储冷热分离策略。前提条件 AnalyticDB MySQL版 集群需要同时满足以下条件：集群系列需为 弹性模式集群版（新版）。集群内核版本需为3.1.3.3或以上...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
湖仓版（3.0）产品定价
存储空间 计费类别 计费项 按量付费价格 每月费用估算 存储空间 热数据存储 0.0028元/GB/小时 2元/GB/月 冷数据存储 0.0002元/GB/小时 0.144元/GB/月 说明 1 每月费用估算仅为了预估1 GB数据存储1个月的花费。估算方法为小时价×24小时×30...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
备份存储费用说明
当使用的备份空间超出免费额度时，PolarDB 会根据备份文件（数据+日志）的存储容量和保存时长收取一定的费用。备份类型 免费额度 数据备份 数据库存储用量×50%日志备份 100 GB 计费规则 中国内地 中国香港及海外 每小时费用计算方法 0....
概览
支持 PolarDB MySQL数据同步至AnalyticDB PostgreSQL 数据传输服务DTS（Data Transmission Service）支持将PolarDB MySQL数据同步至 AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转，将企业数据集中分析。支持 从自建数据库同步数据 ...
ActionTrail日志清洗
清洗后数据保存位置 DLA清洗OSS数据后，将结果数据回写入OSS即数据清洗后的存储位置。DLA会默认指定存储位置。您也可以自定义存储位置。数据清洗时间 设置每天DLA清洗OSS数据的时间。系统默认的数据清洗时间是00:30，您可以根据业务规律，...
设置数据保留策略
数据保留策略介绍 InfluxDB可以通过定义数据保留策略，用来控制存储数据量的方式。新创建的数据库默认的保留策略是 autogen，初始化的保留策略时长为0s，表示数据永久保存；分片时长默认为7天，您可以根据需求来修改存储策略。创建保留策略...
RDS搭配异构数据库实现数据多样化存储
本文介绍数据多样化存储的典型应用。RDS可以搭配云数据库Redis、云数据库Memcache和对象存储OSS等产品使用，实现多样化存储扩展。缓存数据持久化 RDS可以搭配云数据库缓存产品（Redis和Memcache），组成高吞吐、低延迟的存储解决方案。相...
数据分层存储概述
日志服务提供分层存储功能，您可以按需将数据进行热存储、低频存储和归档存储...按写入数据量计费 30天热存储免费权益 生命周期管理 日志服务支持自定义存储生命周期，但需基于存储保存时间迁移策略，具体信息，请参见 数据存储生命周期管理。
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
通过实时计算订阅数据
依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，在开发作业中引用目标表。通过 INSERT INTO 语句，将实时计算后的源表数据插入目标表中。说明 如果数据格式不匹配，需要进行相应的 ...
湖仓版（3.0）计费项
计费场景：集群使用过程中，存储数据占用的空间。计费公式：存储空间费用=热数据存储费用+冷数据存储费用 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 查询...
图扑案例
厦门图扑软件联手 云原生多模数据库 Lindorm 开启工业物联超融合存储模式，应用于工业、制造、楼宇建筑、航空与航天行业。业务/技术亮点 百PB级海量多源异构监控数据一站存储。每秒高吞吐量轻松应对监控指标高并发写入。多模数据检索引擎...
引擎简介
典型场景 大数据场景：海量数据存储与分析 广告场景：海量广告营销数据的实时存储 金融&零售：海量订单记录与风控数据的实时存储 车联网：车辆轨迹与状况数据的高效存储处理 互联网社交：高效、稳定的社交Feed流信息存储 访问方式 通过...
常见问题
表格存储 具有以下优势：多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型数据的一体化存储。模型 描述 宽表模型 类Bigtable/HBase模型，可应用于元数据...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
产品优势
本文介绍了 表格存储 的优势，包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型...
管理Logstore
按需配置热存储数据保存时间，并选择后续 自动转换 为 低频存储 时，数据保存超出配置的保存时间后，将自动转入低频存储层。若配置低频存储时间后选择 自动删除，则数据保存在低频存储层超出配置的保存时间后将自动删除。按需配置热存储...
- 产品推荐
- 这些文档可能帮助您