Hive连接器
使用方式 Hive连接器支持多种分布式存储系统，包括HDFS、阿里云OSS或Amazon S3的兼容系统，都可以使用Hive连接器查询。访问Hive Metastore时，必须确保Coordinator节点和所有worker节点能够通过网络访问Hive Metastore以及存储系统。默认...
技术面临的挑战与革新
随着云的概念不断发展，公有云厂商使用基于网络的块存储逐步代替了单机的本地存储，在这样的基础架构下计算和存储耦合的架构已经变得不透明不合理，此时存储计算分离的架构的优势体现了出来，存储计算分离，分布式存储系统使用高密度，低...
存储资源
分布式存储：将数据分布到多个计算节点的存储设备上，采用分布式存储系统或数据分片的方式。这样可以分散磁盘IO负载，平衡数据访问压力，并利用多个计算节点的磁盘IO资源，提高系统的并发能力。数据压缩：对需要存储的数据进行压缩和存储...
文件存储CPFS
数据持久性和服务可用性 文件存储CPFS的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供99.999999999%（11个9）的数据可靠性。文件存储CPFS的所有节点均为高可用设计。实现集群内秒级别的故障检测，并由CPFS...
产品架构
分布式文件系统 LDFS（Lindorm DFS，也称为Lindorm文件引擎）是面向云基础存储设施设计、兼容HDFS协议的分布式存储系统，并同时支持运行在本地盘环境，以满足部分大客户的需求，向多模引擎和外部计算系统提供统一的、与环境无关的标准接口...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。...① 数据取回费用中的数据是从底层分布式存储系统读取的数据量，在公网传输的数据量会计入到流出流量的计费项中。
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
迁移HBase至Hologres
系统架构 存储计算耦合，存储依赖底层Hadoop分布式文件系统（HDFS），HDFS集群需要手动扩容。HBase表根据Region大小进行分区，分别存储在集群不同的节点上。计算节点采用海量并行处理（MPP，Massively Parallel Processing）架构，基于存储...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
行业趋势与背景
在这种需求下，大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
SDS分布式存储售后服务承诺
详细信息，请参见 阿里云SDS分布式存储售后服务承诺。
基础术语
分布式事务 distributed transaction 事务的发起者、资源及资源管理器和事务协调者分别位于不同的分布式系统的不同节点之上。分支事务 action 一个分布式事务可能包含多个数据库本地事务，在分布式事务框架下，分支事务可能是一个分库上...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
产品优势
分布式中间件 蚂蚁分布式中间件的产品发展路径，一直秉承引领和拥抱业界先进标准和实践，同时亦能满足传统金融架构的平滑迁移、融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
产品体系
SOFAStack 产品家族 SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术...
方案背景
表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。多元索引基于倒排索引、列式存储、空间索引等，可解决大数据的复杂查询、分析聚合等需求。通过为数据表创建...
企业版产品系列
产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，...
可靠性和一致性说明
本地部署的网关依赖于您虚拟环境后端存储的可靠性，建议您使用RAID存储或高可靠分布式存储作为缓存盘。网关将缓存盘的新数据刷新上传到OSS Bucket，依托OSS数据设计持久性不低于99.9999999999%（12个9）保证了数据的安全可靠，进而确保了...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
基础术语
术语 说明 应用 泛指用于组成业务系统的应用，可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 ...
全场景解决方案
一站式金融级分布式架构解决方案 提供 SOFABoot、注册中心、API 统一网关、消息队列、任务调度、分布式事务、数据访问代理、分布式链路追踪、服务网格等产品，助力客户各类应用轻松转型分布式架构。客户案例 建议产品 统一技术中台 方案...
应用场景
多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力，实现技术安全自主可控，突破业务发展瓶颈，并减少开发及运维成本。实现轻型银行，助力业务快速发展和持续创新。异地...
应用场景
多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力，实现技术安全自主可控，突破业务发展瓶颈，并减少开发及运维成本。实现轻型银行，助力业务快速发展和持续创新。异地...
什么是 SOFAStack
SOFAStack 的名称来自蚂蚁内部发展十多年的金融级分布式中间件 SOFA（Service Oriented Fabric Architecture），代表着从支付宝创立之初就开始在关键金融交易系统锤炼出来的分布式架构实践。SOFAStack 整体产品架构如下图所示：SOFAStack ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
搭建Hadoop环境
本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提条件 搭建Hadoop环境时，已有的ECS实例必须满足以下条件：公网IP：实例已分配公网IP地址或绑定弹性公网IP（EIP）。操作系统：Linux操作系统。实例安全组的入方向规则...
产品优势
变更管控与保障 针对金融级场景下大规模分布式系统的特点，提供了丰富的发布策略以满足不同的场景，如：分组发布、Beta 发布、灰度发布等，帮助传统架构平滑过渡，适应金融技术风险保障需求，实现大规模金融级运维场景下的容器服务落地。...
HBASE-HDFS
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
江西农信
江西农信日前携手蚂蚁集团，使用最前沿的云原生技术，实现了传统业务系统从集中式技术架构下移，并平滑迁移上云，为整体核心系统进行分布式架构升级和演进探索积累了坚实的技术基础。客户需求 过去多年，江西农信基于传统 ESB...
应用场景
分布式事务的数据一致性 支付的流程中，用户入口在支付中心完成，账单、权益、通知系统在其他系统完成，多个系统之间的数据需要保持最终一致。在这样的情况下，虽然实现了系统间的解耦，上游系统不需要关心下游系统的业务处理结果；但是...
产品优势
遵循 OpenTracing 埋点 提供平台无关、厂商无关的 API，使得开发人员能够方便的添加（或更换）追踪系统的实现，跟踪分布式系统内各组件的调用情况等。多维度应用度量 提供多种度量维度实时监测应用程序的性能，能帮助更好的了解当前应用...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
基础术语
中文 英文 释义 Dubbo Dubbo Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案，是阿里巴巴 SOA 服务化治理方案的核心框架，每天为 2,000+个服务提供 3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴...
序言
我们把这套金融级云原生的分布式架构解决方案，称之为 SOFAStack™（Scalable Open Financial Architecture Stack），源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践...
- 产品推荐
- 这些文档可能帮助您