分布式训练加速TorchAcc概述

PAI-TorchAcc(Torch Accelerator)是基于PyTorch的训练加速框架,通过GraphCapture技术将PyTorch动态图转换为静态执行图,然后进一步基于计算图完成分布式优化、计算优化,从而提高PyTorch模型训练的效率,使其更加易于使用。技术简介 ...

PolarDB PostgreSQL版架构介绍

Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能:加速比 TPC-H性能:和传统MPP数仓对比...

概述

任务调度 TS(Task Scheduler)提供分布式任务调度框架,实现任务的分布式处理,并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理,达到所有任务有序、高效运行的目的,极大降低开发和...

什么是AI分布式训练通信优化库AIACC-ACSpeed

AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本,AIACC-ACSpeed基于模块化的解耦优化设计方案,实现了分布式训练在兼容...

什么是AI通信加速库Deepnccl

Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL(NVIDIA Collective ...

产品概述

另外在业界主流的分布式数据库里,分布式下的Redolog/Binlog等数据库变更日志其实一直被厂商所忽视,从关系数据库的发展历史看,生态和标准对于市场规模化非常重要,PolarDB分布式版 支持Binlog日志服务,兼容和拥抱MySQL数据库生态,...

概述

PolarDB-X 列存索引,基于分布式事务的Binlog日志实时同步,实现行转列(M:N)的异构转换,同时可以定义列存索引特有的分布式分区键、排序键等,结合分布式的并行技术,提供列存查询的线性扩展能力。同时行存和列存存储介质相互隔离,存储...

FMT 模式参与者

这样就可以被分布式事务的发起方进行调用,保证分布式场景下的数据一致性。假设该应用数据访问服务实现如下:public class DataServiceImpl implements com.xxx.DataService{ //服务实现 } 基于 SOFARPC 的服务发布 如果需要发布为 ...

HSF概述

高速服务框架HSF(High-speed Service Framework),是在阿里巴巴广泛使用的分布式RPC服务框架。概述 HSF连通不同的业务系统,解耦系统间的实现依赖。HSF从分布式应用的层面,统一了服务的发布与调用方式,从而帮助用户更加方便、快速地...

典型客户案例

完成云平台 PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:需要一个面向分布式架构的开发平台和运行平台,结合...

AI加速概述

EPL(大规模分布式训练框架)PAI-EPL是一款高效易用的分布式模型训练框架,可以实现低成本、高性能分布式模型训练。更多关于使用EPL实现训练加速的操作,请参见 AI加速:使用EPL实现AI训练加速。Rapidformer(Transformer训练加速)PAI-R...

中间件产品总览

提供高可消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...

功能特性

分布式事务(Distributed Transaction-eXtended,简称 DTX)是蚂蚁集团自主研发的金融级分布式事务中间件,支持跨数据库、跨服务以及混合的方式处理分布式应用,具备多种接入模式和金融级配套功能,本文将主要介绍分布式事务的功能特性。...

优化建议

分布式数据库的高性能依赖于底层数据库的高性能,而对底层数据库性能说,建立需要的索引是重要的环节;确保语句能正确使用到索引,例如查询条件能被索引完全覆盖到,保证分区键上有索引等;查询尽量在单机完成,最为简单的方式就是在分区...

PolarDB-X适用场景

目前,PolarDB-X 具备从单机到分布式的平滑演进能力,支持动态通过DDL将一张大表动态调整为分布式的分区表,结合分布式事务、以及兼容MySQL binlog的数据回流,可完成单机到分布式的快速改造。数据库国产化替换 场景描述 信息系统国产化是...

慢日志

慢日志优化 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页,单击 PolarDB-X 2.0 页签。找到目标实例,单击实例ID。在左侧导航栏中,单击 诊断与优化>慢日志。在下方慢日志统计页签中查看慢SQL模板列表,...

概述

分布式事务 DTX(Distributed Transaction-eXtended)是蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的...

行业趋势与背景

分布式数据库是发展方向 近年,随着互联网、大数据的飞速发展,特别是“双十一”指数型的成交总额发展曲线,让世界看到了中国电子商务业务的火箭式发展势头。而同时,对于背后的业务支撑系统说,同样经历了火箭式的系统压力增长。以...

应用场景

如果交易服务使用数据访问代理分库分表,虽然数据访问代理本身不支持分布式事务,但是分布式事务可以轻松和数据访问代理集成,使得数据访问代理具备分布式事务的处理能力,解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...

基本概念

分布式链路跟踪 EDAS鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问,从而精准发现系统的瓶颈和隐患。分布式任务管理 SchedulerX 是阿里巴巴中间件团队开发的一款分布式任务调度产品。用户在应用中依赖SchedulerX-...

概述

Dubbo:开源分布式服务框架 H2C:开放的网络通信框架。实现原理 SOFARPC 中的远程调用是通过服务模型定义服务调用双方的。服务分为:服务消费方:对应 RPC 的调用端,可以理解为调用客户端,即“引用(Reference)”。服务提供方:对应 RPC...

常见问题

本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上?可以,SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK?SOFAStack 部署支持多云异构、目前支持华为云、开源 ...

技术架构

另外在业界主流的分布式数据库里,分布式下的redolog/binlog等数据库变更日志其实一直被厂商所忽视,从关系数据库的发展历史看,生态和标准对于市场规模化非常重要,PolarDB-X 支持binlog日志服务,兼容和拥抱MySQL数据库生态,用户可以...

未来规划

云计算架构的核心逻辑就是通过虚拟化技术带来池化资源,云原生数据库采用分布式数据库架构,实现大规模扩展,每套数据库系统横跨多台服务器和虚拟机,带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用,实现按需按量...

产品优势

微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构,具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势,并提供丰富的功能帮助用户简化分布式系统的管理,让业务开发人员可以专注于业务逻辑实现,提升研发...

链路数据透传

和 SOFATracer 的比较 SOFATracer 是蚂蚁开源的一个分布式链路追踪系统,RPC 目前已经集成 Tracer,默认开启。RPC 和 Tracer 进行数据传递不同点如下:RPC 的数据透传更偏向业务使用,而且可以在全链路中进行双向传递。调用方可以传给服务...

四川农信

完成云平台 PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:建立一个面向分布式架构的开发平台和运行平台,结合...

附录:SOFAStack 产品目录

分布式事务 分布式事务(Distributed Transaction-eXtended,简称 DTX)是一款金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户...

概述

分布式事务 SOFAStack 分布式事务是蚂蚁科技自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁科技内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的资金操作。更多分布式...

产品优势

兼容性保障 分布式事务是一个抽象的基于 Service 层的概念,与底层事务实现无关,也就是说在分布式事务的范围内,无论是关系型数据库 MySQL、Oracle,还是 KV 存储 MemCache,或是列存数据库 HBase,只要将对它们的操作包装成分布式事务的...

概述

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题,提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年专注于为海量数据访问提供低消耗、高性能、高...

什么是Deepytorch Training(训练加速)

通过整合分布式通信和计算图编译的性能优化,在保障精度的前提下实现端到端训练性能的显著提升,为您带来更低的成本和更敏捷的迭代。同时Deepytorch Training具有无感适配和充分兼容开源生态等特点,使AI研发人员可以轻松集成并享受训练...

发起方配置

跨服务 FMT 参与者服务订阅 基于 SOFARPC 发布的服务订阅<sofa:reference id="dataServiceSofaRpc" interface=com.xxx.DataService" ><sofa:binding.tr/>基于 Dubbo 发布的服务订阅开启分布式事务 为需要开启分布式事务的接口增加分布式事务...

基本概念

发起方 Initiator,分布式事务的发起方负责启动分布式事务,通过调用参与者的服务,将参与者纳入到分布式事务当中,并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识,...

应用场景

对于传统企业的服务化转型说,使用分布式框架不是银弹,在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后,分布式架构也为研发和运维增加了更大的复杂度和管理成本,基于分布式框架进行架构改造的应用和业务通常会面临...

技术架构

架构演进理念 当前,分布式领域有3大技术方向:Sharding技术,NewSQL原生分布式技术,云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于...

组件中心

分布式事务 蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的资金操作。研发效能 持续交付 基于 Gitflow ...

产品优势

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承引领和拥抱业界先进标准和实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...

全场景解决方案

客户案例 建议产品 SpringCloud 开源增强 SpringCloud SOFA 提供基于 Spring Cloud 生态体系的企业级能力,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件开发分布式应用服务。方案架构 方案优势 拥抱生态 与 Spring Boot、...

实现原理

MonitorGateway 分布式链路追踪 主要负责分布式链路处理的相关功能。对于链路信息的收集,提供三种方式,分别为主动日志采集、SLS 日志采集以及链路日志上报。数据层 主要是由时序数据库 CeresDB 承载。CeresDB 是蚂蚁自研的时序数据库,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
金融分布式架构 企业级分布式应用服务 对象存储 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用