实时消费概述
实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写，类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，...
什么是人工智能平台PAI
PAI底层支持多种计算框架：流式计算框架Flink。基于开源版本深度优化的深度学习框架TensorFlow、PyTorch、Megatron和DeepSpeed。千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI...
2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
什么是边缘流数据分析
流数据分析是一种使用流的...提供和阿里云流式计算完全相同的SQL语法。您开发一次SQL，既可以在云上执行、也可以在边缘执行。提供了内建的字符串处理和时间、统计等各类计算函数。支持对消息乱序的处理。提供了流数据分析开发的图形化控制台。
概述
DataHub用于实时上传数据，主要适用于流式计算场景。数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
环境准备
通过为数据表建立数据通道，您可以通过流式计算的方式对表中历史存量和新增数据进行消费处理。使用实时计算Flink服务 首次使用实时计算Flink时，请根据如下步骤开通实时计算Flink服务以及创建Flink全托管实例。开通实时计算Flink服务。具体...
流式数据通道概述
流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
应用场景
背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
数据开发
支持批量离线、在线和流式计算等多种类型的计算节点。支持同一租户内，不同工作组中的任务依赖和统一调度。开发环境节点 支持节点任务类目的新建、编辑和删除以及支持离线、在线和流式节点注册，对节点脚本、自定义函数、节点输入、节点...
镜像使用说明
由于容器镜像是分层的，所以相同计算框架高低版本之间会有部分相同的数据，您仍然有机会享受到更好的性能。没有找到需要的基础镜像怎么办？建议您加入函数计算官方用户群（钉钉群号：11721331）获取技术支持。基础镜像是否兼容不同的GPU卡...
使用Tunnel命令或Tunnel SDK
流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步...
基本概念
本章节为您介绍MapReduce的基本概念。...归并函数是MapReduce计算框架的一种优化，通常情况下，Combiner的逻辑与Reduce相同。当Map输出数据后，框架会在Map端对相同key值的数据进行本地的归并操作。相关的使用示例请参见 示例程序。
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
产品概述
流计算StreamCompute StreamCompute 是阿里云提供的流计算引擎，提供使用类SQL的语言来进行流式计算。数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以...
镜像使用说明
由于容器镜像是分层的，所以相同计算框架高低版本之间会有部分相同的数据，您仍然有机会享受到更好的性能。没有找到需要的基础镜像怎么办？建议您加入函数计算官方用户群（钉钉群号：11721331）获取技术支持。基础镜像是否兼容不同的GPU卡...
CreateAIInstance
ProjectId String 是 1 所属项目ID AlgorithmId String 是 1 算子ID ComputeType String 是 StreamCompute 计算类型，取值范围：StreamCompute：流式计算 DataSource String 是 Camera 数据来源，取值范围：Camera：摄像头。需调用 ...
阿里云异构计算产品总览
阿里云异构计算云服务研发了云端AI加速器，通过统一的框架同时支持了TensorFlow、PyTorch、MXNet和Caffe四种主流AI计算框架的性能加速，并且针对以太网和异构加速器本身进行了深入的性能优化。阿里云异构计算产品家族介绍 下文为您介绍阿里...
基于Ubuntu 16.04搭建环境
确认是否启动流式计算，默认开启流式计算。确认是否卸载之前已安装的版本，默认卸载。拉取Docker镜像完成并启动可能需要等待5~10分钟，启动完成后通过 docker ps 命令查看相关Docker容器是否已启动，若系统显示如下图所示信息，表示启动...
开源支持
Mars Mars是一个基于张量的统一分布式计算框架。使用Mars进行科学计算，不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码，更在性能上有大幅提升。Mars已经在Github上开源代码，您可以一起参与共建Mars。...
什么是边缘应用
函数计算应用继承了阿里云函数计算事件驱动的编程模型，同时作为Serverless计算框架，让您专注于业务逻辑开发，无需为程序启动、消息流转、日志查询、进程保活等基础工作耗费精力。函数计算应用的代码来源有两种：使用阿里云函数计算服务...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
2024年
2024年03月26日-分布式计算框架MaxFrame功能开放试用公告 尊敬的MaxCompute用户：分布式计算框架 MaxFrame 功能将于北京时间 2024年03月28日（周四）在 华东2（上海）、华南1（深圳）、西南1（成都）地域开始开放试用，其他地域也将陆续...
2019年
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。2019-07-23 全部区域 概述 新增 西南（成都）区域 MaxCompute服务在 西南（成都）区域开通。...
概述
使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，为Python数据科学栈加速，包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下：Mars Tensor 接口 和Numpy保持一致，且支持大规模高维数组。示例代码...
基于Flink+Hologres搭建实时数仓
方案架构 实时计算Flink版是强大的流式计算引擎，支持对海量实时数据高效处理。Hologres是一站式实时数仓，支持数据实时写入与更新，实时数据写入即可查。Hologres与Flink深度集成，能够提供一体化的实时数仓联合解决方案。本文基于Flink+...
基于Flink+Paimon搭建流式湖仓
方案架构和优势 架构 实时计算Flink版是强大的流式计算引擎，支持对海量实时数据高效处理。流式数据湖仓Paimon是流批统一的湖存储格式，支持高吞吐的更新和低延迟的查询。Paimon与Flink深度集成，能够提供一体化的流式湖仓联合解决方案。...
使用限制
单个Job的Worker数由框架计算得出，最大为1000个，超过抛异常。单个Worker占用CPU默认为200个，范围为[50,800]。单个Worker占用Memory默认为4096 MB，范围为[256 MB,12 GB]。单个Worker重复读一个Resource次数限制不大于64次。split_size ...
使用限制
Map Instance[1,100000]数量限制 odps.stage.mapper.num 无 是 单个Job的Map Instance个数由框架根据Split Size计算得出，如果没有输入表，可以通过odps.stage.mapper.num直接设置，最终个数范围[1,100000]。Reduce Instance[0,2000]数量...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
节点类型说明
计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类节点。在线节点 更多详细信息，请参见 在线类节点。流式节点 更多详细信息，请参见 流式类节点。...
概述
MaxCompute Graph是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点（Vertex）和边（Edge）组成，点和边包含权值（Value）。MaxCompute Graph支持以下图编辑操作：修改点或边的权值。增加、删除点。增加、删除边。说明 ...
使用须知
Graph 一套面向迭代的图计算处理框架。使用图进行建模，图由点（Vertex）和边（Edge）组成，点和边包含权值（Value）。通过迭代对图进行编辑、演化，最终得出结果。Tunnel 您可以使用Tunnel服务向MaxCompute批量上传离线数据或从MaxCompute...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
功能特性
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持提交运行Spark作业，满足更丰富的数据处理分析需求。Spark 向量计算 Proxima CE Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
2020年
2020-09-01 全部区域 备份与恢复 2020-08 功能名称 功能描述 发布时间 发布区域 相关文档 数据科学（Mars）功能商业化发布 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，加速Python数据科学栈，包括Numpy、Pandas...
- 产品推荐
- 这些文档可能帮助您