数据科学计算概述
Mars则是一个基于张量的统一分布式计算框架，实现了Numpy大约70%的接口，并进行了分布式化，不仅大幅减少了分布式科学计算代码的编写难度，同时在性能上也有大幅提升。Mars核心功能如下：兼容及分布式化（2019年1月正式开源）：支持将Numpy...
产品架构
互联网应用架构 互联网应用架构包括数据库分层架构和分布式结构化数据存储架构，主要用于电商订单、直播弹幕、网盘中文件元数据、社交网络中即时通讯等场景。数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统...
JindoFSx P2P分布式下载配置指南
本文为您介绍P2P分布式下载缓存的使用方法。前提条件 EMR环境：已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，且选择JINDODATA服务，详情请参见 创建集群。非EMR环境：具体请参见 JindoFSx存储加速系统使用指南...
什么是AI分布式训练通信优化库AIACC-ACSpeed
相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容性、适用性和性能加速等方面的升级。AIACC-ACSpeed介绍 AIACC-ACSpeed（本文简称ACSpeed）作为阿里云自研的AI训练加速器，...
应用场景
基于蚂蚁集团中台战略及架构的最佳实践，将企业级公共能力进行抽象，形成以客户服务、运营服务、分布式架构为基础的业务中台体系，实现开放、可扩展、组件化、分布式的业务架构，支持业务快速、高效、低成本创新，满足互联网场景化快速多变...
概述
存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障，同时通过MVCC维护分布式事务的可见性，另外提供计算下推能力，以满足分布式的计算下推要求（例如Project/Filter/Join/Agg等...
源为PolarDB-X的功能规范和约束说明
不支持 PolarDB分布式版 的结构初始化，需要在目标库手动创建好对应的库表等对象。PolarDB分布式版 留够足够支撑业务增长的容量。如 PolarDB分布式版 实例下挂载的MySQL版本为5.7和8.0，则不支持直接订阅该 PolarDB分布式版 实例，需要对该...
源为PolarDB-X的功能规范和约束说明
不支持 PolarDB分布式版 的结构初始化，需要在目标库手动创建好对应的库表等对象。PolarDB分布式版 留够足够支撑业务增长的容量。如 PolarDB分布式版 实例下挂载的MySQL版本为5.7和8.0，则不支持直接订阅该 PolarDB分布式版 实例，需要对该...
行业趋势与背景
PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐...
什么是 SOFATracer
SOFATracer 是蚂蚁金服基于 OpenTracing 规范开发的分布式链路跟踪系统，其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来，...
和开源产品对比
有开源产品同样可以实现分布式任务调度，本文介绍SchedulerX和开源产品的对比，帮助您更好的了解分布式任务调度和SchedulerX。产品名称 定时调度 工作流 分布式任务 白屏化任务治理 任务类型 报警监控 使用成本 Quartz Cron 不支持 不支持 ...
实现原理
数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的某种规则。例如，日志解析规则、Prometheus 协议规则等。举个例子，有业务日志样例如下，希望通过监控获取每一...
附录：SOFAStack 产品目录
任务调度 任务调度（Task Scheduler，简称 TS）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。产品架构 产品优势 支持集群任务...
基础术语
其最核心的数据结构是事务号（TX_ID）和事务状态（STATE），它是在启动分布式事务时持久化写入数据库的，它的状态决定了这个分布式事务的状态。分支事务记录 action record 又叫 Action 记录，用于标识分支事务。它记录了该提供该分支事务...
产品架构
宽表引擎 LindormTable 是面向海量半结构化、结构化数据设计的分布式NoSQL系统，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Cassandra等开源标准接口。其基于数据自动分区+分区多副本+LSM的架构思想，具备全局...
错误码
SDK 集成相关 错误码 错误消息 错误说明 解决方案 DTX-000 dtx component scanner init error.SDK 启动失败，分布式事务不可用。DTX-001 Bean[%s]can not have@DtxTransaction and@TccBusinessAction both.同一个 bean 不能既有@...
中间件产品总览
API 统一网关 提供高性能、高安全、高可靠的 API 托管服务 通过 API 网关实现 API 发布与调用 分布式链路追踪 面向分布式、微服务架构的一种可观察性的金融级解决方案 通过 SOFATracer 进行透视化网络调用#tpic{position:absolute;...
未来规划
结构化与非结构化数据如何融合异构处理，比如如何用向量处理引擎把非结构化数据变成结构化数据，高维向量、多源异构数据处理的技术。数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持...
步骤五：到控制台验证
基于 开发单元化应用 中的转账与积分场景，在完成相应的转账或存款等操作后，您可以前往各个产品控制台验证单元化效果：分布式链路跟踪：查看单元间流量走向 分布式事务：查看事务执行情况 消息队列：查看消息轨迹 微服务：按单元推送动态...
基本概念
发起方 Initiator，分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识，...
产品概述
通过云原生架构、软硬件一体化、共享分布式存储的设计，主节点和只读节点使用物理复制、RDMA网络低时延，能够快速同步数据，彻底解决了主从异步复制所带来的备库数据非强一致的问题，使得整个数据库集群在应对任何单点故障时，都可以保证...
应用场景
可视化管理 在分布式系统中，面对爆发式增长的应用数量和服务器数量，提供图形化的集中式管理平台，简单易用，学习成本低。多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的...
产品整体介绍
另外在SQL基础上，支持Apache MADLib机器学习，PostGIS地理位置分析，以及JSON/JSONB半结构化数据，图片音频等非结构化数据与结构化数据融合分析功能。在部署形态层面，AnalyticDB PostgreSQL版 提供阿里云公共云服务，按量付费，支持垂直...
概述
分布式事务 DTX（Distributed Transaction-eXtended）是蚂蚁集团自主研发的金融级分布式事务中间件，用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路，服务于亿级用户的...
开通SchedulerX
背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台，在弹出的对话框中单击 开通。在 分布式任务管理 页面，单击 立即购买。在 确认订单 页面 ...
步骤三：开发单元化应用
本文将基于转账、积分等场景分别介绍微服务（MS）中的 SOFARPC、消息队列（MQ）以及分布式事务（DTX）如何完成 LDC 单元化相关的业务开发。前提条件 路由参数为 userId，格式如 080066600000002，取第一位+0 作为分片位（sharding key）。...
基础术语
SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 traceId 将调用链路中的各种网络调用情况以日志的方式记录下来，以达到透视化网络调用的目的。这些日志可用于故障的快速发现，服务治理等。TraceID TraceId 指的是 ...
技术面临的挑战与革新
在过去网络IO还是一大瓶颈的年代，分布式系统设计以及优化的一大原则就是尽量使得计算存储本地化，避免昂贵的网络开销。然而share nothing架构对于跨分片的数据访问不是很友好，比如事务，比如全局索引，实现起来十分复杂，效率也要打上...
开通服务
本节介绍如何开通分布式事务服务。前提条件 已注册阿里云账号，并完成实名认证。操作步骤 开通 SOFAStack 产品服务。使用阿里云账号登录 阿里云官网。在上方菜单栏选择 产品与服务>中间件>金融分布式架构 SOFAStack。在 SOFAStack 产品主页...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志，还可以通过工作流进行任务...
应用场景
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
分布式事务问题
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
分布式链路概述
分布式链路（原 SOFAStack 中间件中的 概述）会逐步融合到业务智能可观测服务中，实现监控和链路分析一体化，方便用户对问题进行跟踪定位，对应用性能、调用链路进行实时分析。背景信息 分布式链路是面向分布式架构、微服务（比如 Spring ...
应用场景
可视化管理：在分布式系统中，面对爆发式增长的应用数量和服务器数量，提供图形化的集中式管理平台，简单易用，学习成本低。多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活...
网商银行
客户价值 网商银行信息系统建设依托于蚂蚁集团成熟的、完全“自主可控”的技术体系，结合自身轻资产、交易型、平台化的运营思路，完成了基于分布式云计算的架构建设。提高了系统吞吐能力、资源供给效率以及系统可靠性，做到了 7x24x365 的...
分布式任务调度平台（SchedulerX）服务等级协议
本文介绍分布式任务调度平台（SchedulerX）的服务等级协议。关于服务等级协议，请参见 分布式任务调度平台（SchedulerX）服务等级协议。
功能特性
场景化的产品技术方案 分布式云全网统一管理：基于先进的分布式系统架构，一键创建跨地域、跨运营商的边缘节点算力资源，智能选点、秒级分发，用户可以自助化实现边缘算力的批量操作和一键扩缩容。算网融合，多点协同：多节点算力分钟级...
分布式任务调度平台（SchedulerX）服务等级协议
本文介绍分布式任务调度平台（SchedulerX）的服务等级协议。关于服务等级协议，请参见 分布式任务调度平台（SchedulerX）服务等级协议。
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果2021年09月01日00:00:00前没有释放，那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...
- 产品推荐
- 这些文档可能帮助您