数据存储生命周期管理
生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当数据的存储时间超过配置的 热...
文件系统存储类型
数据存储 数据取回 成本节省计划 低频存储和归档存储是针对存储在标准存储空间中的冷数据进行成本优化。设置生命周期管理策略，您可以根据业务实际访问数据的情况自动分级存储数据，从而优化存储成本。如果您需要频繁访问低频存储或归档...
计算与分析概述
通过SQL查询功能，您可以对 表格存储 中数据进行复杂的查询和高效的分析。计费说明 按量模式下，各个计算引擎访问表格存储，会根据具体的读写请求按照读写吞吐量计量计费。预留模式下，读写请求会消耗VCU的计算资源。更多信息，请参见 计费...
创建分析存储
设置分析存储同步时序表中数据的方式。analyticalStore.setSyncOption(AnalyticalStoreSyncType.SYNC_TYPE_INCR);设置时序表名称。CreateTimeseriesAnalyticalStoreRequest request=new CreateTimeseriesAnalyticalStoreRequest("test_...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
创建分析存储
analyticalStore.SetTimeToLive(2592000)/设置分析存储同步时序表中数据的方式。analyticalStore.SetSyncOption(tablestore.SYNC_TYPE_INCR)/设置时序表名称。request:=tablestore.NewCreateTimeseriesAnalyticalStoreRequest("test_...
对象存储优化
分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如，通过将数据从标准存储转换为低频访问存储，您可以节省高达...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
数据备份概述
通过为实例中的表配置备份计划并执行，您可以备份 表格存储 中的重要数据到 云备份 中，如果重要数据被误删除或者恶意篡改，您可以将备份数据快速恢复到 表格存储 中。注意事项 当前支持使用数据备份功能的地域有华东1（杭州）、华东2...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
SQL查询介绍
您还可以通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、PrestoDB等计算引擎实现表中数据的计算与分析。具体操作，请参见 计算与分析。如果要以图表等形式可视化展示数据，您可以通过对接Grafana实现。更多信息，请参见 对接...
通过控制台使用分析存储
生命周期 分析存储中数据的过期时间，单位为秒。当系统判断当前时间减去用户传入数据列的时间已经超过设置的数据生命周期时，系统会自动清理超过数据生命周期的数据。重要 在分析存储中，系统判断数据产生时间以用户传入的时间列为准，并非...
资源预估选型
使用表格存储中的数据读写，索引的写入、查询、分析，通道服务等操作均会消耗VCU的计算资源。通过QPS近似评估VCU的建议请参见下表。由于计算资源的消耗涉及较多因素，请结合实际业务评估VCU。重要 读写行的大小，请求的Cache命中率、Filter...
高级管理FAQ
当您使用安全服务（例如云安全中心的防勒索服务）扫描通用型NAS低频存储或归档存储中的文件时，安全服务会读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储访问流量费用。更多信息，请参见 通用型NAS计费。创建经典网络挂载点时...
设置数据冷热存储策略
冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，...
计量计费项
预留模式的计费项包括计算能力、数据存储量和外网下行流量三部分。预留模式适用于业务峰值较为平稳、可预测的场景。本文介绍预留模式的计费价格、计费组成、计费项以及计费常见问题。计费价格 具体计费价格，请参见 表格存储价格详情页。...
方案设计
这四列主键列标记一行表格存储中的数据，这行数据需要保存后两维的数据，即一个格点平面。这种设计下，五维中的前三维都可以通过主键列的值来定位，即对于前三维的每一种情况，都对应表格存储中的一行。由于前三维分别代表变量、时间和高度...
什么是OSS-HDFS服务
HDFS服务中的数据 Impala Impala使用JindoSDK查询OSS-HDFS服务中的数据 Presto Presto使用JindoSDK查询OSS-HDFS服务中的数据 Spark Spark使用JindoSDK查询OSS-HDFS服务中的数据 阿里云生态 EMR 在EMR Hive或Spark中访问OSS-HDFS Flink EMR ...
数据归档至专属存储
系统自动执行此任务，您需要等待任务状态从 正在执行 变为 执行成功，此执行过程耗时长短与您归档数据的存储量有关。说明 文件合并任务执行完成后，系统会自动将数据源替换为合并后的文件。查询文件合并后的数据。具体操作，请参见 查询...
将MaxCompute数据同步到表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到...后续操作 同步到MaxCompute中的增量数据为列数据的变化记录，您可以根据需要将 表格存储 的增量数据转换为全量数据格式。具体操作，请参见 将表格存储的增量数据转换为全量数据格式。
按时间戳冷热分离
表或列簇的存储属性 STORAGE_POLICY 不能为 COLD（即需要开启冷热分离的表不能是冷存表）。如何修改存储属性，请参见 配置冷存储。操作步骤 方式一：HBase Shell 创建表并设置冷热分界线。HBase(main):002:0>create 'chsTable',{NAME=>'f',...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
冷热分层存储
jindo fs-unsetStoragePolicy-path该命令用于取消指定路径下的数据的存储策略。jindo fs-checkStoragePolicy-path该命令用于查询指定路径下数据存储策略的转换状态。转换状态分为以下三种：Pending：任务等待提交。Submitted：任务已提交。...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
开启智能存储分层
归档存储数据保存 数据在Logstore归档存储层中的存储时间，当数据的存储时间超过您所配置的 归档存储数据保存 时间后，数据将自动删除。归档存储数据保存 时间至少为60天。取值范围为60～3650，单位：天。重要 归档存储层数据保存 时间参数...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
资源包选购案例
说明 评估数据存储量资源包时，下表中的数据存储量需要转换为GB单位的相应数值进行近似评估。根据数据透视表中的各数据用量评估所需资源包规格。重要 此处地域以 全国通用（中国内地）为例介绍，实际场景中可以根据实例所属地域结合各地域...
通过Amazon S3协议挂载OSS
本文介绍如何通过s3fs、goofys以及Rclone在不同操作系统中将OSS Bucket挂载到本地文件系统，让您能够像操作本地文件一样操作OSS的对象（Object），实现数据的共享。前提条件 已创建RAM用户并获取访问密钥（AccessKey）。具体操作，请参见 ...
表格存储收费方式详解
数据存储量、预留读吞吐量和预留写吞吐量均精确到分钟级别，在计费周期结束时会对该计费周期中的数据存储量、预留读吞吐量和预留写吞吐量分别取平均值，作为该计费周期资源的实际使用量。按量读吞吐量和按量写吞吐量精确到秒级别，统计该...
迁移工具
将MySQL数据同步到表格存储 将Oracle数据同步到表格存储 DataWorks/DataX 使用DataWorks/DataX不仅可以将数据库迁移同步到表格存储，也可以实现表格存储表中数据的跨实例或者跨账号的迁移同步。将数据库数据迁移到表格存储 DataWorks/DataX...
数据集成服务
您还可以通过DataWorks数据集成服务实现表格存储表中数据的跨实例或者跨账号迁移以及将表格存储数据迁移到OSS或者MaxCompute中备份和使用。应用场景 DataWorks数据集成 是稳定高效、弹性伸缩的数据同步平台，适用于MySQL、Oracle、...
生命周期管理FAQ
在备份低频存储或归档存储中的文件时，云备份服务需要读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储读流量费用。更多信息，请参见 通用型NAS计费。如何关闭生命周期管理功能？启用生命周期管理功能，您可以将通用型NAS文件...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
时序模型
更新时序表 当需要清理时序表中的历史数据或者希望延长数据保存时间时，您可以使用 UpdateTimeseriesTable 接口更新时序表的数据生命周期TTL配置。更新时序表的TTL后，表格存储 会自动异步清理时序表中超过TTL的数据。删除时序表 当不再...
时序模型
更新时序表 当需要清理时序表中的历史数据或者希望延长数据保存时间时，您可以使用 UpdateTimeseriesTable 接口更新时序表的数据生命周期TTL配置。更新时序表的TTL后，表格存储 会自动异步清理时序表中超过TTL的数据。删除时序表 当不再...
云存储网关中的数据没有同步上传到OSS Bucket
本文介绍云存储网关中的数据没有同步上传到OSS Bucket的原因。云存储网关中的数据没有同步上传到OSS Bucket中，存在以下2个已知原因。1.0.31之前的版本，如果文件大小超过120G，会上传失败。1.0.31及之后版本，如果文件大小超过1.2TB，会上...
- 产品推荐
- 这些文档可能帮助您