E-MapReduce弹性低成本离线大数据分析

离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm:Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流...

本地运行

本文向您介绍本地和分布式环境运行MapReduce的差异和MapReduce本地运行示例。各阶段介绍 本地运行前:通过在Jar命令中设置 –local 参数,在本地模拟MapReduce的运行过程,从而进行本地调试。本地运行时:客户端会从MaxCompute中下载本地...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...

概述

您可以通过标准的JDBC接口基于MaxCompute执行海量数据分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC使用说明 使用JDBC连接MaxCompute。详情请参见 使用说明。使用JDBC连接商业智能(BI)分析工具...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本,接入简单,提供报警监控。安全防护 多层次安全防护,包括:支持HTTPS,VPC访问。支持用户隔离、命名空间隔离和应用...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

2.0版SQL开发规范

分布式计算,本地计算&并行计算 大数据计算情况下,本地计算时充分利用分布式多计算资源的能力,避免数据跨节点。高QPS,分区裁剪 业务系统要求高QPS、毫秒级RT时,表和SQL必须设计为分区裁剪模式。常见SQL优化细节 去掉不必要的列 云原生...

数据查询最佳实践

分布式计算,本地计算&并行计算 大数据计算情况下,本地计算时充分利用分布式多计算资源的能力,避免数据跨节点。高QPS,分区裁剪 业务系统要求高QPS、毫秒级RT时,表和SQL必须设计为分区裁剪模式。SQL优化技巧 去掉不必要的列 云原生数据...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一;专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等,无需额外费用...

概述

数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案,支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。

功能特性

数据访问代理兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

实现原理

PontusSpark 分布式计算引擎 功能强大的 Spark 计算集群,负责接收产品层的计算配置,并对数据进行离线计算和统计。从 Register 中获取监控数据采集的 Vessel 地址,并通过 Vessel 获取必要的监控数据。PontusAlarm 监控告警组件(又称 ...

什么是MaxCompute

MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求,最大可达EB级别,并且MaxCompute已经在阿里巴巴...

数据源Alibaba PolarDB分布式

本文为您介绍如何添加Alibaba PolarDB分布式版(原DRDS、PolarDB-X)数据源。前提条件 已创建Alibaba PolarDB分布式数据库。已获取Alibaba PolarDB分布式数据库的用户名和密码。使用限制 支持1.0、2.0版本。操作步骤 添加白名单。连接...

DeleteDrdsDB

该接口只是提交了删除数据库的任务,接入方需要依据DescribeDrds接口(查询数据库信息的接口)的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数,取值:DeleteDrdsDB。DbName...

产品功能

分布式计算 提供简单、易用的分布式编程模型,支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息,请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息,请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...

基础术语

术语 说明 应用 泛指用于组成业务系统的应用,可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件,通过统一的 ...

SQL概述

阿里云分布式数据库 PolarDB-X 是一款分布式关系数据库,高度兼容MySQL语法,但由于分布式数据库和单机数据库架构的差异,又有着自身的语法特点。PolarDB-X 支持下列五种SQL语法。数据定义语言DDL(Data Definition Language):对数据库中...

购买数据访问代理实例

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前,您需要购买一个数据访问代理实例。操作...

产品功能

分布式计算 提供简单、易用的分布式编程模型,可以进行大数据跑批。单机:随机挑选一台机器执行。详情请参见 单机。广播:所有机器同时执行且等待全部结束。详情请参见 广播。Map模型:类似于Hadoop MapReduce里的Map。只要实现一个Map方法...

支持的云服务

MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力,并支持SQL、MapReduce、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。更多DataWorks...

PolarDB分布式版逻辑备份

数据库备份DBS可满足 PolarDB分布式版 实例异地备份、长期归档、分布式备份等需求。前提条件 数据库为PolarDB-X 1.0,存储类型为RDS MySQL,MySQL版本为MySQL 5.x。功能概述 功能 说明 备份SQL文件 采用逻辑备份技术,备份成JSON文件。备份...

人保健康

借助蚂蚁集团的金融级分布式架构 SOFAStack、金融级分布式数据库 OceanBase、金融级 PaaS 平台等能力,人保健康构建起对标行业水平的新一代互联网保险云核心业务系统。客户价值 人保健康新一代互联网保险云核心业务系统支持业务高并发需求...

概述

全局一致性 PolarDB-X 是一款分布式数据库,数据存放在多个数据节点(DN)上,当分布式事务存在的情况下,恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例:PolarDB-X 中存放了一张用户的账户...

羲和分析计算引擎

比如:利用数据分布,直接进行基于特定数据的计算,避免分布式系统中数据和命令流交互的开销。利用数据存储的能力,下推谓词、聚合等计算,实现近存储的计算加速。利用数据模型中的范式依赖,数据数值类型等进行查询执行算法优化。

授权信息

本文为您介绍 云原生大数据计算服务 MaxCompute(MaxCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。云原生大数据计算服务 MaxCompute(MaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 ...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析...

南京银行

解决方案 2017 年,南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase,以及大数据平台能力,构建新的互联网金融核心,并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...

源为PolarDB-X的任务配置方案

方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务,性能成倍增长,可承载规模的 PolarDB分布式数据写入,仅配置一个以 PolarDB分布式版 为源的DTS任务,当业务系统写入源实例数据量较时,会存在性能瓶颈。稳定性 稳定性较强。...

源为PolarDB-X的任务配置方案

方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务,性能成倍增长,可承载规模的 PolarDB分布式数据写入,仅配置一个以 PolarDB分布式版 为源的DTS任务,当业务系统写入源实例数据量较时,会存在性能瓶颈。稳定性 稳定性较强。...

概述

负责数据分布式路由、计算及动态调度,负责分布式事务2PC协调、全局二级索引维护等,同时提供SQL限流、三权分立等企业级特性。存储节点(Data Node,DN)负责数据的持久化(面向行存数据),基于多数派Paxos协议提供数据高可靠、强一致保障...

升级和降配

在 变配 页面,配置升级后所需的CU数量,并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute,单击 立即购买。订单价格计算规则如下:升级订单价格计算=新配置剩余时长购买金额(新配置的月单价/30/24×剩余时...

功能特性

分布式事务(Distributed Transaction-eXtended,简称 DTX)是蚂蚁集团自主研发的金融级分布式事务中间件,支持跨数据库、跨服务以及混合的方式处理分布式应用,具备多种接入模式和金融级配套功能,本文将主要介绍分布式事务的功能特性。...

Query Profile介绍

Exchange Operator Sink 指标 说明 PartType 数据分布模式,包括UNPARTITIONED、RANDOM、HASH_PARTITIONED和BUCKET_SHUFFLE_HASH_PARTITIONED。BytesSent 发送的数据大小。OverallThroughput 吞吐速率。NetworkTime 数据包传输时间(不包括...

计量计费

本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息 通常情况下,每个算法组件由多个子任务组成。...查看账单信息 MaxCompute SQLML作业,在账单中体现的是 大数据计算服务MaxCompute+机器学习(PAI)两个产品的费用。

RDS迁移至MaxCompute实现动态分区

本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区,动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见 ...

企业版产品系列

共享分布式存储(PolarStore)多个计算节点共享一份数据,而不是每个计算节点都存储一份数据,极降低了用户的存储成本。基于分布式块存储和文件系统,存储容量可以在线平滑扩展,不会受到单个数据库服务器的存储容量限制,可应对上百TB...

高可用版

数据库GDB支持高可用版和单节点版两个系列。高可用版采用一主一备的经典高可用架构(主备节点均为独立的图数据库节点),计算与存储分离,...基于超大规模的阿里云飞天分布式存储,保证数据多副本的可靠性。适用场景 企业级的生产图数据库。

品牌升级

PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB,专注解决海量数据存储、超高并发吞吐、表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验。此次品牌升级,存量DRDS实例不受影响,可正常续费...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用