大规模数据存储技术-大规模数据存储技术文档介绍内容-阿里云

方案背景

因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...

应用场景

通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算

产品架构

数据库分层架构在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...

Transaction Table2.0概述

现状分析当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...

Paimon概述

支持在流模式与批模式下读写大规模数据集。支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据...

选型推荐

SSD云盘/ESSD云盘推荐场景小规模日志/数据共享存储、小型网站、自建FTP 日志/数据共享存储、共享目录、自建FTP、小型网站、数据归档、多地数据共享、备份数据仓库中型网站，日志/数据统一存储，共享目录（VDI），大规模数据归档，...

MaxFrame概述

您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明当前MaxCompute MaxFrame功能...

Dataphin支持的实时数据源

Ververica Flink支持的实时数据源存储类型数据源类型读写维表读 大数据存储 MaxCompute 支持支持支持 DataHub 支持支持-Hologres 支持支持支持数据湖 Hudi 支持支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...

产品概述

时间序列数据库(Time Series Database,简称 TSDB)是一种高性能、低成本、稳定可靠的在线时间序列数据库服务，提供高效读写、高压缩...同时在高负载大规模数据量的情况下可以方便地进行弹性扩容，方便用户结合业务流量特点进行动态规划与调整。

E-MapReduce本地盘实例大规模数据集测试

本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，本文中的测试并不符合TPC-DS的基准测试的所有要求。

后续指引

介绍：数据迁移实践：数据迁移最佳实践常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析数据类型 MaxCompute支持三种数据类型版本，为您介绍各...

强一致分布式事务

另外，分布式数据库通常数据存储规模更大，对于备份恢复的一致性有更大的挑战。PolarDB-X 在存储节点（DN）的数据和变更日志中都保存了分布式事务的中心授时（包含了时间戳信息），任意时间点的数据恢复（PITR，point-in-time recovery）都...

概述

Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...

简介

基于OSS，您可以搭建出各种多媒体分享网站、网盘、个人和企业数据备份等基于大规模数据的服务。使用限制您使用的OSS资源和相关功能，都有一定的限制，具体请参见 OSS使用限制。使用说明 OSS API参考主要介绍接口的请求语法、相关参数含义...

导出全量数据到OSS

如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照同步数据表数据的任务配置进行配置。如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照同步...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

创建实例

通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。操作步骤进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...

Delta Lake概述

背景信息通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...

亿海蓝-航运大数据的可视化案例

方案亮点：千亿级船舶轨迹时空分析、多元时空数据整合、开发周期短。客户感言“阿里Ganos产品很好地提升了我们对异构时空数据的处理能力。Lindorm高性能、低延迟、高吞吐、稳定性让...提供金字塔式的矢量快显数据存储，优化了热力图缩放效果。

构建数据仓库

适用行业：适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势：阿里云实时数仓全套链路与离线数仓无缝打通。满足一套存储，两种计算（实时计算和离线计算）的高性价比组合。产品组合：DataHub+实时计算Flink+交互式分析...

HDFS概述

HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下：具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面，方便管理。拥有类似于Linux的文件权限管理。Locality感知，...

时序模型

时序表操作使用表格存储时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能描述列出时序表名称当需要查看...

时序模型

时序表操作使用表格存储时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能描述列出时序表名称当需要查看...

数据迁移概述

跨区域复制概述离线迁移（闪电立方）适用于线下数据中心大规模数据迁移上云，支持TB到PB级别数据上云，可通过离线迁移服务将数据迁移至阿里云OSS。什么是离线迁移（闪电立方）OSS API或SDK 使用OSS API或SDK编写代码实现数据上云，适用于...

创建Hudi数据源

背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据...

创建Hudi数据源

背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明仅支持超级管理员、数据源管理员、...

Lindorm for Cassandra应用实践

Lindorm For Cassandra特性更强性能：相比开源Cassandra，Lindorm For Cassandra在大规模数据下吞吐量更高，延迟更低。同等规格，20亿行数据下Lindorm与开源Cassandra的性能对比如下：说明以下数值仅供参考，具体以实际场景为准。单行读...

数据集成支持的数据源

离线集成支持的数据源数据源读取写入 大数据存储型数据源 MaxCompute 支持支持 Hologres 支持支持 IMPALA 支持支持 TDH Inceptor 支持支持 StarRocks 支持支持 Hudi 支持支持 Doris 支持支持 GreenPlum 支持支持 TDengine 不...

什么是OSS-HDFS服务

作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...

数据集成支持的数据源

离线集成支持的数据源数据源读取写入 大数据存储型数据源 MaxCompute 支持支持 Hive 支持支持 Hologres 支持支持 IMPALA 支持支持 TDH Inceptor 支持支持 Kudu 支持支持 StarRocks 支持支持 Hudi 支持支持 Doris 支持支持 ...

产品简介

DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...

查看集群日报与分析

HDFS基础信息在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图文件数趋势图 HDFS存储评分趋势图文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析在HDFS使用分析中，您可以获取以下图表信息：HDFS User...

数据集成

数据源支持情况数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...

常见问题

如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...

索引介绍

使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎宽表...

数据表-数据概况

功能说明在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...

InfluxDB®️介绍

云数据库 InfluxDB®版是一款专门处理高写入和查询负载的时序数据库，完全兼容开源InfluxDB 1.8版本，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。主要特点 InfluxDB®是您处理时序数据的...

功能特性

持久内存型 Tair ESSD型使用ESSD作为存储，性能为开源社区版Redis的30%~50%，成本仅为15%左右，适用于大规模温冷数据存储，且数据存储量越大单GB成本越低。云盘（ESSD）型实例管理创建实例可以通过Tair管理控制台或OpenAPI创建Tair实例...

自媒体：易撰

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...

大规模数据存储技术

新品推荐