引擎简介

Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务,满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本,接入简单,提供报警监控。安全防护 多层次安全防护,包括:支持HTTPS,VPC访问。支持用户隔离、命名空间隔离和应用...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...

数据科学计算概述

Mars则是一个基于张量的统一分布式计算框架,实现了Numpy大约70%的接口,并进行了分布式化,不仅大幅减少了分布式科学计算代码的编写难度,同时在性能上也有大幅提升。Mars核心功能如下:兼容及分布式化(2019年1月正式开源):支持将Numpy...

任务管理高级配置参数说明

1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型,单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型,子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...

任务管理高级配置参数说明

1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型,单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型,子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一;专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等,无需额外费用...

什么是持续交付

可编排 在分布式计算中,组件灵活可编排,可以支持各种规模的动态部署与服务。通过检测容器状态,分析整体数据和资源状况,合理分配和支持不同业务、不同规模的产品服务,实现高效的持续交付。多样化 多平台支撑,支持多种分支策略,支持...

任务管理高级配置参数说明

1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型,单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型,子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...

ACK One概述

分布式云容器平台 ACK One(Distributed Cloud Container Platform for Kubernetes)是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One 可以连接并管理您任何地域、任何基础设施上的Kubernetes集群,并...

实现原理

PontusSpark 分布式计算引擎 功能强大的 Spark 计算集群,负责接收产品层的计算配置,并对数据进行离线计算和统计。从 Register 中获取监控数据采集的 Vessel 地址,并通过 Vessel 获取必要的监控数据。PontusAlarm 监控告警组件(又称 ...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

概述

使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术,为Python数据科学栈加速,包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下:Mars Tensor 接口 和Numpy保持一致,且支持大规模高维数组。示例代码...

开源支持

Mars Mars是一个基于张量的统一分布式计算框架。使用Mars进行科学计算,不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码,更在性能上有大幅提升。Mars已经在Github上开源代码,您可以一起参与共建Mars。...

支持的云服务

MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力,并支持SQL、MapReduce、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。更多DataWorks...

MapReduce模型

MapReduce模型的原理和最佳实践,请参见 SchedulerX 2.0 分布式计算原理和最佳实践。SchedulerX 2.0支持MapReduce模型的详细信息,请参见 SchedulerX 2.0 支持 MapReduce 模型。注意事项 所有子任务结果会缓存在Master节点,内存压力较大,...

Map模型

基于MapJobProcessor,调用Map方法,即可实现大数据分布式跑批的能力。注意事项 SchedulerX不保证子任务一定执行一次,在特殊条件下会failover,可能会导致子任务重复执行,需要业务方自己实现幂等。SchedulerX使用的是Hessian序列化框架,...

什么是MaxCompute

MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求,最大可达EB级别,并且MaxCompute已经在阿里巴巴...

任务管理

10 子任务全局并发数(仅适用于拉模型)并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数,可以进行限流。1,000 在 定时配置 配置向导页,设置定时参数和高级配置参数,然后单击 下一步。定时参数说明如下:配置项 说明 时间...

MapReduce模型

通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批(例如Hadoop、Spark等),MapReduce无需将数据导入大数据平台,且无额外存储及计算成本,即可实现秒级别海量数据...

2019年

您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。2019-11-18 全部区域 JDBC概述 2019-10 功能名称 功能描述 发布时间 发布区域 相关文档 支持一次增加或删除多个分区 MaxCompute的DDL语义升级,支持一次增加或删除多...

概述

分布式事务 DTX(Distributed Transaction-eXtended)是蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的...

10 分钟本地试用公有云分布式事务

本节介绍如何快速本地试用公有云分布式事务服务。操作步骤 开通分布式事务服务。说明 如果已开通服务,可以忽略这一步。如果没有账号,可使用支付宝扫描登录。登录 分布式事务产品 页面。在 开通 DTX 分布式事务体验版 页面,单击 确认开通...

网商银行

网商银行之所以能够顺利完成分布式的云计算架构建设,主要依托三方面的优势:承袭了蚂蚁集团的两项核心技术——分布式事务框架 XTS 和 OceanBase 数据库。完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了...

产品架构

计算服务(GraphCompute)一站式图计算解决方案,通过高性能的分布式计算引擎,提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务

产品概述

存储节点(Data Node,DN),主要提供数据存储引擎,基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储,另外提供计算下推能力满足分布式计算下推要求(比如Project/Filter/Join/Agg等下推计算),可支持本地盘和共享...

典型客户案例

完成云平台 PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:需要一个面向分布式架构的开发平台和运行平台,结合...

开启CNFS NAS计算分布式缓存

CNFS文件存储计算分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力,并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算分布式缓存,并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...

开启CNFS NAS计算分布式缓存

CNFS文件存储计算分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力,并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算分布式缓存,并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...

多语言版本分片模型

动态分片:主要场景是分布式处理未知数据量的数据,例如一张大表在不停变更,需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型,目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...

技术架构

存储节点(Data Node,DN),主要提供数据存储引擎,基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储,另外提供计算下推能力满足分布式计算下推要求(比如Project/Filter/Join/Agg等下推计算),可支持本地盘和共享...

概述

存储节点(Data Node,DN)负责数据的持久化(面向行存数据),基于多数派Paxos协议提供数据高可靠、强一致保障,同时通过MVCC维护分布式事务的可见性,另外提供计算下推能力,以满足分布式计算下推要求(例如Project/Filter/Join/Agg等...

错误码

SDK 集成相关 错误码 错误消息 错误说明 解决方案 DTX-000 dtx component scanner init error.SDK 启动失败,分布式事务不可用。DTX-001 Bean[%s]can not have@DtxTransaction and@TccBusinessAction both.同一个 bean 不能既有@...

技术面临的挑战与革新

在Proxy的协同下,甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史,早期的分布式数据库,在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...

多语言版本分片模型

动态分片:主要场景是分布式处理未知数据量的数据,例如一张大表在不停变更,需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型,暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...

产品功能

分布式计算 提供简单、易用的分布式编程模型,可以进行大数据跑批。单机:随机挑选一台机器执行。详情请参见 单机。广播:所有机器同时执行且等待全部结束。详情请参见 广播。Map模型:类似于Hadoop MapReduce里的Map。只要实现一个Map方法...

附录:SOFAStack 产品目录

分布式事务 分布式事务(Distributed Transaction-eXtended,简称 DTX)是一款金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户...

什么是图计算服务

计算服务Graph Compute是阿里云自主研发的高性能分布式计算产品,为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算,高效对接图算法与模型,在搜索推荐广告、实时风控、知识图谱、...

应用场景

EDAS是分布式架构和数字化业务上云的应用托管平台,具有广泛的应用场景。微服务解决方案 EDAS支持Apache Dubbo(2.6.x及以上版本)、Spring Cloud(Edgware及以上版本)和HSF三个主流微服务框架,更多信息,请参见 Spring Cloud概述、Dubbo...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
企业级分布式应用服务 轻量应用服务器 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用