实时消费概述
实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写，类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
什么是边缘流数据分析
流数据分析是一种使用流的...提供和阿里云流式计算完全相同的SQL语法。您开发一次SQL，既可以在云上执行、也可以在边缘执行。提供了内建的字符串处理和时间、统计等各类计算函数。支持对消息乱序的处理。提供了流数据分析开发的图形化控制台。
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的...流引擎 云原生多模数据库 Lindorm 流引擎是 面向流式数据处理 的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。
概述
DataHub用于实时上传数据，主要适用于流式计算场景。数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至...
基于Ubuntu 16.04搭建环境
确认是否启动流式计算，默认开启流式计算。确认是否卸载之前已安装的版本，默认卸载。拉取Docker镜像完成并启动可能需要等待5~10分钟，启动完成后通过 docker ps 命令查看相关Docker容器是否已启动，若系统显示如下图所示信息，表示启动...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
表设计规范
降低计算成本 规范化的表设计可以帮助您优化数据的读取，从而减少计算过程中的冗余读写和计算，提升计算性能，降低计算成本。降低维护成本 规范化的表分层设计能够直接体现业务的特点。例如，在规范化设计表的同时对数据通道中的数据采集...
使用Tunnel命令或Tunnel SDK
流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步...
引擎类型
面向海量半结构化、结构化数据设计的分布式宽表引擎，具备全局二级索引、多维检索、动态列、TTL等能力，支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase的3-7倍，P99时延为开源HBase的1/10，支持冷热分离，压缩率比开源HBase...
应用场景
背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集...
环境准备
通过为数据表建立数据通道，您可以通过流式计算的方式对表中历史存量和新增数据进行消费处理。使用实时计算Flink服务 首次使用实时计算Flink时，请根据如下步骤开通实时计算Flink服务以及创建Flink全托管实例。开通实时计算Flink服务。具体...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
CreateAIInstance
ProjectId String 是 1 所属项目ID AlgorithmId String 是 1 算子ID ComputeType String 是 StreamCompute 计算类型，取值范围：StreamCompute：流式计算 DataSource String 是 Camera 数据来源，取值范围：Camera：摄像头。需调用 ...
函数类型选型
context 函数计算 平台定义的函数入参，它的数据结构由 函数计算 设计，包含函数运行时的信息，例如请求ID、临时密钥等。callback 系统定义的函数，作为入口函数的入参用于返回调用函数的结果。有关Node.js事件函数的更多信息，请参见 事件...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
阿里云携手深势科技，助力泓博医药加速药物研发
在临床前的化合物设计与优化阶段，泓博医药与深势科技展开了深度合作，利用深势科技的Hermite®药物计算设计平台，对化合物进行了分子级别的动力学仿真，能够以化学精度高效评估蛋白质与配体的结合情况，实现大规模的先导化合物优化筛选，...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
实时数仓Hologres
String 是 无 Hologres V2.0版本推出了全新的弹性高可用实例形态，将计算资源分解为不同的计算组（Virtual Warehouse），更好的服务于高可用部署，详情请参见 计算组实例快速入门。不同的计算组使用相同的Endpoint，您可以通过在dbname参数...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
CREATE TABLE AS（CTAS）语句
流式数据湖仓Paimon×仅Flink计算引擎vvr-6.0.7-flink-1.15及以上版本支持Paimon结果表。功能特性 功能 详情 单表同步 支持实时同步源表的全量和增量数据到结果表中。表结构变更同步 在实时同步数据的同时，还支持将源表的表结构变更（增加...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
基于混合负载的查询优化
Interactive模式：采用MPP计算架构，调度粒度为整个查询所有任务，计算过程中pipeline流式计算，满足低延迟的交互式分析场景；Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，...
函数计算是否支持SSE流式响应？
目前函数计算的 使用自定义运行时创建 和 使用容器镜像创建 是支持流式响应的，但是 使用内置运行时创建 暂不支持流式响应。在 使用自定义运行时创建 和 使用容器镜像创建 方式部署函数时，函数计算会根据响应头中是否带有 Transfer-...
节点类型说明
计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类节点。在线节点 更多详细信息，请参见 在线类节点。流式节点 更多详细信息，请参见 流式类节点。...
规格概述
按量付费闲时版 闲时计算资源池与按量付费标准版计算资源共享，与包年包月计算资源隔离，不可指定用量。不涉及 不涉及 计算费用（按量付费）适用于期望极低成本、但对完成时间不敏感的作业。例如用户行为日志、系统日志等低价值、海量数据...
作业运行常见问题
对于使用 按量付费闲时版 计算资源的作业，您需知晓，闲时计算资源池与按量付费标准版计算资源共享，不可指定用量，如遇整体资源池资源水位高，发生资源竞争时，Spot作业资源可能会被挤压或者抢占，甚至作业被终止。作业问题 作业问题主要...
包年包月标准版
资源池为独享型，按购买计算资源CU量分配固定资源。说明 资源的基本单位定义为CU（Compute Unit），1 CU=4 GB内存+1 CPU Core。不同Region初始的最大可购买CU量不同，具体以购买页显示的为准，如果需要购买超过这个CU量（新购或者升级），...
创建加密计算节点池
通过创建加密计算节点池使已有集群具备ACK TEE机密计算能力，ACK TEE机密计算可以让您把重要数据和代码放在一个特殊的可信执行加密环境中，避免在使用过程中被恶意窥探和窃取，减少敏感数据泄露风险。本文介绍如何创建加密计算节点池。前提...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
资源规划及规格选型
方式二：按照项目实际消耗的计算资源数量规划计算资源 在项目正式上线前或在项目正式上线运行一小段时间之后，评估计算资源消耗的CPU总和，然后再根据每天所有作业必须在哪个时间段运行完成，计算消耗费用最少的最佳计算资源数量。计算资源...
配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
核心概念的层次结构
Quota（配额）配额是MaxCompute的计算资源池，提供作业运行所需计算资源。更多配额信息，请参见 配额。Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络...
创建TDX机密虚拟机计算节点池
ACK集群支持基于Intel® Trusted Domain Extension（Intel® TDX）技术的ECS实例（下文简称为TDX实例）创建TDX机密虚拟机计算节点池，使现有集群具备TDX机密计算能力。创建ACK机密虚拟机节点池后，您无需改造应用代码，便可直接将应用部署...
管理通用模型版本
方法二 登录 蚂蚁隐私计算服务平台。在左侧导航栏，选择 我的资源>通用模型。在 通用模型 页面，单击目标模型名称，进入 通用模型详情 页面。在 通用模型详情 页面，单击 版本列表 页签，查看通用模型的版本列表。版本列表中包括了版本号、...
- 产品推荐
- 这些文档可能帮助您