合并小文件

分布式文件系统按块(Block)存放数据,文件大小比块大小(64MB)小的文件称为小文件。分布式系统不可避免会产生小文件,比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在...

集群容灾能力

数据容灾 在Hadoop分布式文件系统(HDFS)中,每一个文件的数据均是分块存储的,每一个数据块保存有多个副本(默认为3),并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下,HDFS的副本系数是3,存放策略是将一个副本存放在...

企业版产品系列

集群中所有的数据文件都存放在共享存储(PolarStore)中,各个主节点通过分布式文件系统(PolarFileSystem)共享底层存储(PolarStore)中的数据文件。用户可以通过集群地址访问整个集群,数据库代理会自动转发SQL命令到正确的主节点。多主...

文件存储HDFS版

您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。适用场景 文件存储HDFS版 适用于对吞吐要求较高的大数据分析与机器学习业务场景。文件存储HDFS版...

什么是文件存储 HDFS 版

您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。创建 文件存储 HDFS 版 实例后,即可在ECS及容器服务等计算资源内通过标准的HDFS协议接口访问文件...

概述

金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案,而其中的应用 PaaS 平台,融合金融科技多年在规模分布式系统和容器平台的实践经验,使用户在专注于业务价值的同时,提升研发效率和...

性能概述

基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。自RDS推出市场以来,阿里云数据库行业专家在...

块存储概述

例如,NoSQL非关系型数据库(例如Cassandra、MongoDB、HBase等)、MPP数据仓库和分布式文件系统等。SATA HDD本地盘 搭配使用的实例规格族包括大数据型d3s、d2c、d2s、d1ne和d1。适用于互联网行业、金融行业等有大数据计算与存储分析需求的...

快速入门

文件存储 HDFS 版 兼容了标准的HadoopFS协议接口,使您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储,使用 文件存储 HDFS 版 服务可以大量节约...

四川农信

PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:建立一个面向分布式架构的开发平台和运行平台,结合分布式数据库、...

ListDbfs-查询数据库文件系统列表

调用ListDbfs查询您已经创建的数据文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限...

GetDbfs-查询单个数据库文件系统

调用GetDbfs查询数据文件系统详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...

Cassandra数据建模

依赖集群的keyspace的副本策略以及集群的snitch策略,Cassandra将各个节点负责的primary key range复制到集群中其他节点,以提高分布式系统数据可靠性以及服务可用性。每次读写在Cassandra中都会定义 ConsistencyLevel(也就是我们说的...

Hive连接器

背景信息 Hive数仓系统由以下三部分内容组成:不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库(例如,MySQL)中,并...

产品功能

数据分布式事务 系统分库、分表后,跨库事务几乎无法避免,GTS 可以让应用轻松具备跨库事务处理能力。跨服务的分布式事务 提供跨库、跨服务的事务支持,实现业务链路级别的分布式事务。消息队列分布式事务 在多次调用消息系统的场景中...

功能特性

无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...

HDFS概述

HDFS(Hadoop Distributed File System)是一种Hadoop分布式文件系统,具备高度容错特性,支持高吞吐量数据访问,可以在处理海量数据(TB或PB级别以上)的同时最大可能的降低成本。HDFS适用于规模数据的分布式读写,特别是读多写少的场景...

Catalog概述

数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后,各个BE会并行扫描Hive存储系统中的目标数据,并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据,请...

Catalog概述

数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后,各个BE会并行扫描Hive存储系统中的目标数据,并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据,请...

概述

数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案,支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。

产品架构

基于全新打造的分布式块存储(Distributed Storage)和文件系统(Distributed Filesystem),存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...

产品架构

基于全新打造的分布式块存储(Distributed Storage)和文件系统(Distributed Filesystem),存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...

行业趋势与背景

在这种需求下,规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库,融合分布式SQL引擎DRDS与分布式自研存储X-DB,基于云原生一体化...

功能特性

数据访问代理兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

什么是PolarDB MySQL企业版

基于全新打造的分布式块存储(Distributed Storage)和文件系统(Distributed Filesystem),存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...

快照概述

通过自动备份文件系统数据,提高业务数据安全性。创建快照 自动快照概述 克隆快照 基于快照克隆出与快照状态一致的数据库文件系统。克隆快照 计费 数据库文件系统快照功能不另外单独收取费用,仅收取云盘快照费用,详见 云盘快照计费。使用...

什么是全局事务服务GTS

全局事务服务GTS(Global Transaction Service)用于实现分布式...在单机数据库下很容易维持事务的ACID(Atomicity、Consistency、Isolation和Durability)特性,但在分布式系统中并不容易,GTS可以保证分布式系统分布式事务的ACID特性。

产品优势

微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构,具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势,并提供丰富的功能来帮助用户简化分布式系统的管理,让业务开发人员可以专注于业务逻辑实现,提升研发...

概述

技术原理 归档为 CSV 或 ORC 格式的技术原理图如下:集群中的热数据存储在共享存储(PolarStore)中,各个 PolarDB 节点通过分布式文件系统(PolarFileSystem)访问PolarStore中的数据。为降低数据存储成本,达到冷热数据分离管理的目的,...

什么是持续交付

多样化分支策略支持高扩展、分布式、响应式、大文件、按需下载,更有流控、安全、数据化、单元化等诸多强大提升。研发环境 提供高性能的容器集群管理方案,集中统一管理配置项,只需使用简单的配置文件与命令,即能一键式自动同步,快速...

创建快照

数据文件系统快照基于云盘快照,它是一种便捷高效的数据容灾手段,用于对文件系统数据进行备份。前提条件 进行快照创建时,数据文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态,则需要保证文件系统有...

快照

如果文件系统数据较多,单次创建自动快照的时长超过两个时间点间隔,则自动跳过下一时间点。例如:您设置了09:00、10:00、11:00和12:00为自动快照时间点。由于文件系统数据较多,09:00开始创建快照,10:20完成创建快照,实际耗时80分钟。...

SQL概述

阿里云分布式数据库 PolarDB-X 是一款分布式关系数据库,高度兼容MySQL语法,但由于分布式数据库和单机数据库架构的差异,又有着自身的语法特点。PolarDB-X 支持下列五种SQL语法。数据定义语言DDL(Data Definition Language):对数据库中...

概述

多样化分支策略支持高扩展、分布式、响应式、大文件、按需下载,更有流控、安全、数据化、单元化等诸多强大提升。流程中心 流程规则可按业务需求灵活配置,也可根据软件开发协作状况自由定制,支持规则自定义、加权自定义,支持多成员协作...

Windows应用程序

将SMB文件系统挂载点接入AD域 Windows客户端以AD域用户身份挂载并使用SMB文件系统 数据访问 SMB文件系统数据的上传下载 通过NAT网关实现本地客户端访问NAS SMB文件系统 SQLServer SQLServer使用NAS SMB文件卷 Windows工具 使用Windows ...

概述

文件存储NAS 阿里云文件存储NAS(Network Attached Storage)是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统,可共享访问、弹性扩展。NAS基于POSIX文件接口,天然适配原生操作系统。文件存储CPFS ...

使用CNFS管理NAS存储卷

功能与文档 说明 通过CNFS方式使用NAS文件系统 为了提升NAS文件系统的性能,容器服务ACK使用CNFS(Container Network File System)托管NAS文件系统,对文件系统层独立管理。本文介绍如何使用CNFS托管NAS文件系统及CNFS在工作负载中的应用...

快速入门(Linux)

通常情况下,当您要访问NAS文件系统数据时,需要先创建NAS文件系统并完成挂载操作。本文介绍如何在NAS控制台创建通用型NAS NFS文件系统,并使用控制台一键挂载功能将NFS文件系统挂载至ECS实例(CentOS 7.9)上,从而实现数据上传与下载。...

自动快照概述

应用场景 自动快照策略可以在预设的时间点周期性地创建快照,保护文件系统数据,是系统安全性和容错率的重要保障。当您的数据库出现异常时,您可能来不及手动创建快照。这时您可以通过最近的自动快照来恢复数据库文件系统,降低损失。您也...

购买数据访问代理实例

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前,您需要购买一个数据访问代理实例。操作...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用