数据源配置概述

当前计算源类型仅支持 阿里大数据计算服务MaxCompute。仅支持添加一个计算源。分析源:从计算源拉取数据时,经计算源整合后的数据将导入分析源。后续使用这些数据进行洞察分析时,将直接从分析源获取。当前分析源类型支持 阿里云实时数仓...

高可用版

高可用版采用一主一备的经典高可用架构(主备节点均为独立的图数据库节点),计算与存储分离,较单节点版具有更高的可用性。优势 可用性 采用经典高可用架构,主备之间通过复制(默认半同步)实现数据同步,一旦主库发生故障,将迅速检测并...

基于MaxCompute进行大数据BI分析

背景信息 MaxCompute:用于进行大规模数据计算,详情请参见 什么是MaxCompute。RDS MySQL:用于进行海量数据实时高并发在线分析,详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks:可实现ETL功能,对复杂数据集进行采集、加工及...

超级计算集群概述

其中RoCE网络专用于RDMA通信 适用场景:大规模机器学习训练 大规模高性能科学计算和仿真计算 大规模数据分析、批量计算、视频编码 sccg7包括的实例规格及指标数据如下表所示。实例规格 vCPU 物理内核 内存(GiB)网络带宽(Gbit/s)网络...

引擎简介

适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口,支持单表百万亿行规模、千万级并发、毫秒级响应、跨机房强一致容灾等,高效满足业务大规模数据的在线存储查询需求。...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

设置运行时属性

此种方式推荐处理大规模数据使用 runtime { disks:"local-disk 100 cloud_ssd,/cromwell_root/500 cloud_ssd"} 注意:平台兼容社区WDL中的HDD和SSD关键字,HDD对应高效云盘(cloud_efficiency),SSD对应SSD云盘(cloud_ssd)docker 可选,...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...

计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储计算能力,高效率高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink,支持...

产品概述

阿里云流数据处理平台数据总线DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备,应用...

发展历程

MaxCompute 以单集群三万以上节点通过中国信通院分布式批处理平台(大规模)测试评审认证。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台,成为国际TPC(Transaction Processing Performance Council)委员会大...

MaxFrame概述

使用场景 MaxCompute MaxFrame使用场景如下:基于MaxCompute上存储的数据及计算资源进行大规模数据分析、处理及数据挖掘。习惯Python开发生态,需要通过NumPy、Pandas、Matplotlib等进行数据科学、数据处理及可视化分析。需要分布式运行...

什么是MaxCompute

MaxCompute提供离线和实时的数据接入,支持大规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和...

功能概览

大规模文件系统通常用于处理和存储大量数据,并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统(除NAS以外)备份...

应用场景

GPU计算处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽,让多路大规模数据搬移和快速并行计算成为典型的计算模式,但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中,例如语音识别等,在Batch值较...

金融大数据

数据仓库充分利用了阿里数据产品强大的数据处理能力和数据计算能力。架构优势:合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工服务方式 技术架构 架构说明:阿里数据数据仓库解决方案经历...

阿里云电子政务云产品全家福

它提供在线迁移和离线迁移(闪电立方)两种迁移方式,致力于解决大规模数据传输效率、安全问题等难题。阿里云电子政务云平台价格华北2公共云同等配置价格相同 网络 产品名称 产品描述 政务云价格配置 专有网络 VPC 帮助您基于阿里云构建...

构建数据仓库

适用行业:适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势:阿里云实时数仓全套链路离线数仓无缝打通。满足一套存储,两种计算(实时计算和离线计算)的高性价比组合。产品组合:DataHub+实时计算Flink+交互式分析...

DataWorks V3.0

MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见 ...

什么是云原生数据湖分析

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB\NoSQL)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统...

支持的云服务

开放搜索OpenSearch 开放搜索OpenSearch是一款阿里云自主研发的大规模分布式搜索引擎平台。您通过MaxCompute对数据进行计算处理后,可以在OpenSearch平台上通过添加数据源的方式将MaxCompute数据接入,详情请参见 MaxCompute数据源配置。更...

常见术语

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop方案...

互联网、电商行业离线大数据分析

通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品,可以实现互联网、电商网站的离线数据分析,且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标...

互联网金融:上海富友支付服务股份有限公司

业务挑战 随着业务规模和用户量的快速增长,高并发交易和海量数据给富友的数据库带来三挑战:数据导致性能瓶颈:仅扫码业务每日有千万级交易量,加上互联网、跨境和SaaS富掌柜等业务,海量数据下传统商业数据库的性能明显不足。...

云产品流转概述

什么是云产品流转 设备基于 Topic 物联网平台进行通信时,您可以在数据流转中编辑脚本对设备Topic数据进行多样化处理,并通过数据流转函数将处理后的数据转发到其他设备Topic或阿里云产品进行存储或处理旧版云产品流转相比,新版云...

功能特性

EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群,可以释放资源...

函数存储选型

整个架构中,您只需要专注于函数逻辑的编写,系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作,请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格,分别是512 MB和10 GB。临时硬盘中所有目录可...

云数据库RDS简介

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS,以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...

函数存储选型

整个架构中,您只需要专注于函数逻辑的编写,系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作,请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格,分别是512 MB和10 GB。临时硬盘中所有目录可...

客户案例

视频介绍 社交媒体行业:欢聚时代大规模数据湖建设 客户简介 欢聚时代成立于2005年,是全球领先的社交媒体企业,旗下运营多款社交娱乐产品,包括即时通讯、电商业务等。目前基于Hadoop+HDFS开源架构进行离线(HDFS+Spark)、实时计算...

云产品流转概述

什么是云产品流转 设备基于 Topic 物联网平台进行通信时,您可以在数据流转中,编写SQL对Topic中的数据进行处理,并配置转发规则将处理后的数据转发到其他设备Topic或阿里云其他服务。数据目的 说明 相关文档 Topic 将数据转发到另一个...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,...在混合云架构下,机密数据在专有云内完成,云端的大规模数据计算则通过MaxCompute完成,定位数据的播发在公共云上完成。

Tair(Redis企业版)简介

从服务淘宝详情和验证码等业务的持久化系统TBStore,到初始服务于淘宝用户中心的TDBM等等,后端系统缓存技术经历了多个系统和阶段的演变积累,到2009年,这些系统、技术经验经过进一步的研发,融合成了阿里巴巴大规模高性能内存数据库...

2017年功能发布记录

新推出的控制台的特性如下:显示业务调用量 显示最新的触发器 显示最新模板详情 显示产品更新动态 抽屉式的页面 内容更丰富紧凑 无 OSS控制台增加函数计算处理事件入口 优化 OSS控制台新增函数计算处理事件入口,真正双向联通存储和计算,...

什么是EMR on ECS

EMR on ECS将EMR的大数据处理功能ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和...

整体架构

AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势,对规模性、易用性、可靠性和安全性等方面进行了大规模的改进,充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等,...

支持的连接器

通常是需要进行转换计算大规模业务数据,量级可以达到千万级甚至亿级别。以流式数据的形式输入,表示连续不断的新数据,可以来自消息队列、数据库变更日志等。包含需要Join和关联的关键字段,如用户ID、订单ID等业务主键。维表...

PAI灵骏智算服务概述

阿里巴巴2016年开始投入专项研究RDMA(Remote Direct Memory Access),目前已建成大规模数据中心内的“高速网”,通过大规模RDMA网络部署实践,阿里云自主研发了基于端网协同的RDMA高性能网络协议和HPCC拥塞控制算法,并通过智能网卡实现...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

客户案例

大数据处理能力:随着阿里巴巴集团业务的高速发展,推广营销在商业引流上的重要性越发明显,报表作为营销产品的闭环,其诉求也越发的多样化、个性化,报表数据在近几年的发展中在量级上已经增长到TB甚至数十 TB 的规模。这个时候存储系统的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据库备份 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用