宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时,如果 存储类型 选择 本地SSD盘,仅支持选择 本盘节点规格 和数据引擎的节点数量。支持选购容量型存储。支持挂载云盘与本地SSD盘并池。支持副本异构。支持EC纠删码(1.5副本)。...
背景信息 MaxCompute SQL作为分布式数据处理的主要入口,可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
若 存储类型 选择 本地SSD盘 或 本地HDD盘,不支持选择数据引擎的节点规格,仅支持选择 本盘节点规格 和数据引擎的节点数量。若 存储类型 选择 本地SSD盘 或 本地HDD盘,不支持选择流引擎。集群配置 选择数据引擎,包括宽表引擎、时序引擎...
本文主要为您介绍基于表格存储的海量气象格点数据解决方案的背景及挑战。背景 气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的...
表格存储(Tablestore)是阿里云自研的多模型结构化数据存储,可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息,请参见 什么是表格存储。...
OSS 是阿里云提供的开放存储服务,用以应对海量数据的存储和访问。OSS 的存储单价比表格存储更低,更适合存储文件。如果应用程序不方便使用 OSS,可以将超过 2 MB 的单个值拆分成多个行,存储在表格存储中。错误重试加入时间间隔 表格存储...
数据库产品的功能丰富度和数据规模存在着矛盾。针对PB级数据设计的架构和功能,在查询丰富度上会有取舍,难以满足多样的查询需求。另一方面,选择灵活的查询方式可能意味着数据整体规模存在瓶颈,或者成本较高。因此不可避免的面临数据库...
使用时序模型时,时间线数据和时间线元数据会产生数据存储量。同时,对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
以下案例仅覆盖常用的存储和数据请求的场景。如使用过程中涉及OSS其他功能,可能触发其他对应的计费项。更多信息,请参见 计费项。案例说明 用户A在OSS某个Bucket内以标准存储-本地冗余类型存储了100 TB的数据。当访问不同比例的数据时,该...
查询场景 多元索引目前提供通用查询接口(Search)和数据导出接口(ParallelScan)。如果请求关心排序、统计聚合,或者是终端客户的直接查询请求,需要用Search接口。如果请求不关心排序,只关心把所有符合条件的数据尽快返回,或者是计算...
增全量数据存储和处理一体化架构 上图所示即为MaxCompute高效支持上述综合业务场景的全新架构,支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中,由后台数据管理服务自动优化编排数据存储结构,...
参数 一行时序数据(timeseriesRow)包括时间线标识(timeseriesKey)和时间线数据的配置,其中时间线数据包括数据点的时间(timeInUs)和数据点(fields)。详细参数说明请参见下表。参数 说明 timeseriesKey 时间线标识,包括如下内容:...
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展,推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增,与之对应的采集数据量和数据类型快速增长,导致数据存储、检索难度更大。现有解决方案中,通常依赖自建单...
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储,以满足更低成本的历史数据存储,以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求:冷热数据分层 数据湖投递结合 表格存储 的 ...
V 配置离线存储 开通离线存储,代表将智能推荐服务训练所需的离线数据存储部署在您的企业账户的MaxCompute中,需要您保证这部分离线数据的稳定性、并具备运维这些数据的能力。实例启动成功后,可以在控制台-离线存储功能 处,查看离线存储...
优化存储和数据取回的成本 为了进一步优化存储和数据取回的成本,OSS还推出了 选取内容(SelectObject)功能。一般情况下,对象存储中的数据无论大小都必须作为一个整体进行访问。OSS SelectObject允许您使用简单的SQL语句检索对象,这意味...
全部数据存储在低频存储或归档存储节省的存储费用(费用A)读写低频存储或归档存储中的数据产生的流量费用(费用B)(通用型NAS存储单价-低频存储单价或归档存储)×预估存储容量 文件存储NAS的存储单价,请参见 文件存储NAS产品定价。...
您可以使用物联网平台提供的离线数据存储功能,查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据,具体操作,请参见 ...
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件,...
企业版 V3计费方式简介 公共云 计费项 计费方式 中国内地、马来西亚(吉隆坡)和印度尼西亚(雅加达)定价 中国香港和新加坡定价 说明 数据引入 按量计费 0.24元/GB 0.36元/GB 数据引入到存储(包含采集、传输和写入整个过程)时收取该费用...
操作 操作 下为您提供查看数据趋势和健康分排行榜的入口:单击 操作 列下的 图标,查看该项目下计算和存储的 近7天 或 近30天 数据趋势:单击 存储,进入 存储 页面,将鼠标悬浮在数据趋势曲线上,查看某日的健康分和存储量。单击 计算,...
操作 操作 下为您提供查看数据趋势和健康分排行榜的入口:单击 操作 列下的 图标,查看该项目下计算和存储的 近7天 或 近30天 数据趋势:单击 存储,进入 存储 页面,将鼠标悬浮在数据趋势曲线上,查看某日的健康分和存储量。单击 计算,...
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式,支持行式存储和列式存储,支持非易失存储、固态硬盘、机械硬盘等多种存储介质,支持单节点最大10TB存储空间。在此基础之上,AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
服务地址 每个实例对应一个服务地址(EndPoint),应用程序在进行表和数据操作时需要指定服务地址。更多信息,请参见 服务地址。数据生命周期 数据生命周期(Time To Live,简称TTL)是数据表的一个属性,即数据的存活时间,单位为秒。表格...
服务地址 每个实例对应一个服务地址(EndPoint),应用程序在进行表和数据操作时需要指定服务地址。更多信息,请参见 服务地址。数据生命周期 数据生命周期(Time To Live,简称TTL)是数据表的一个属性,即数据的存活时间,单位为秒。表格...
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建(DLF)构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展,数据量爆发式增长,数据形式也变...
通过底层存储的一份全量数据,来支持离线和在线两种场景,避免因数据同步产生的数据一致性和时效性等问题。计算层支持标准接口的多语言可编程计算引擎Spark。同时 湖仓版(3.0)提供离线业务与在线业务的计算资源物理隔离的能力,能实现...
实例 服务地址 每个表格存储实例对应一个服务地址(Endpoint),应用程序进行表和数据操作时需要指定服务地址。服务地址 使用方式 控制台 表格存储通过控制台完成时序模型和宽表模型的实例基础操作、表操作、数据基本操作、SQL查询相关操作...
使用时序模型时,时间线数据占用的存储空间类型与所用实例规格(容量型存储或高性能存储)一致,时间线元数据占用的存储空间为高性能存储,查询与分析时序表中数据时会消耗计算资源。按量模式:时序模型计费项包括时间线数据和时间线元数据...
IV 配置离线存储 您可以设置您的离线数据存储(实时数据源的离线存储位置),您可以选择将这部分数据直接写回您的自有MaxCompute,也可以写到智能推荐的MaxCompute,由智能推荐托管。开通离线存储,代表将智能推荐服务训练所需的离线数据...
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通,实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案,构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下:物联网设备通过 IoT ...
对离线存储中较为久远的数据暂无数据分析需求时,可以通过配置数据归档,来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型,覆盖从单可用区到多可用区的数据冗余机制,以保证数据的持久性和可用性。本地冗余存储(LRS)采用单可用区(AZ)内的数据冗余存储机制,将用户的数据冗余存储在同一个可用区内...
该系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法等,结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储能力以及DAL Spark分析平台,可以广泛应用于空间或时空存储、查询、分析和数据挖掘场景...
如下所示:对于数据量最大的冷数据,时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时,用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
timeseriesMetaOptions:时序时间线表的配置信息,包括如下内容:metaTimeToLive:配置时序时间线表的时间线数据存活时间,单位为秒。取值必须大于等于604800秒(即7天)或者必须为-1(数据永不过期)。allowUpdateAttributes:是否允许...
在 治理分析 页面,选择具体的报告日期展示基于该日期的业务数据(图示①),您也可以查看 存储 和 计算 的健康分(图示②)、分数的明细(图示③)及项目治理明细(图示④)。治理健康分 治理健康分包括 存储健康分 和 计算健康分 两部分...
混合云存储阵列支持用户在...混合云存储阵列也能支持本地存储和云端存储的文件数据同步,实现数据在云端的异地容灾存放。混合云存储阵列还能和传统备份软件(Veritas,Commvault等)结合,作为传统备份软件的备份存储,把备份数据推送上云。
数据库备份DBS提供全量备份、增量备份和数据恢复能力,本文介绍配置SQL Server物理备份的操作步骤。前提条件 数据库的版本为:SQL Server 2019、2017、2016、2014、2012、2008R2、2005、2000。说明 仅支持本地自建数据库和云服务器上的自建...