大数据计算引擎产品-大数据计算引擎产品文档介绍内容-阿里云

购买指引

其他产品计费：大数据引擎的计算与存储等费用不包含在DataWorks的费用中，例如，您还开通使用了 MaxCompute、Hologres、E-MapReduce 等计算引擎或存储产品，这类产品的费用需参考对应产品的计费逻辑。进入 DataWorks售卖页即可购买所需...

与Spark集成分析

DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...

与Spark集成分析

DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...

产品简介

DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...

准备环境

实名认证，详情请参见个人实名认证背景信息本次实验涉及的阿里云产品如下：大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明如果您已经开通MaxCompute，请...

创建Hologres计算源

Dataphin支持使用Hologres为MaxCompute计算引擎作为加速计算源或单独作为离线计算源，作为加速源使用时可加速数据服务中的Dataphin数据源的查询速度，以满足对查询速度有要求的业务场景。本文为您介绍如何创建Hologres计算源。操作步骤请...

创建Hologres计算源

Dataphin支持使用Hologres为MaxCompute计算引擎作为加速计算源或单独作为离线计算源，作为加速源使用时可加速数据服务中的Dataphin数据源的查询速度，以满足对查询速度有要求的业务场景。本文为您介绍如何创建Hologres计算源。前提条件在...

ECS资源复用版

ECS资源复用版是MaxCompute按量付费类型中的...则04:00~05:00的账单详情（部分字段）示例如下：产品产品明细消费时间实例ID 计费项code 单价用量官网价云原生大数据计算服务 MaxCompute 大数据计算服务MaxCompute（按量付费）2023-12-30...

新建AnalyticDB For PostgreSQL计算源

用户名填写AnalyticDB For PostgreSQL计算引擎数据库的登录用户名。密码填写AnalyticDB For PostgreSQL计算引擎数据库的登录密码。优先级任务队列支持采用默认执行用户和自定义。自定义：包含最高优先级、高优先级、中优先级、低...

操作审计事件数据迁移至MaxCompute

审计事件投递区域：选择将事件投递到大数据计算服务MaxCompute。选择投递到本账号，设置如下参数。参数描述 大数据计算服务地域被投递数据的MaxCompute项目所在地域。说明操作审计会将审计日志投递至MaxCompute指定地域下的...

添加Spark数据源

切换至 计算引擎数据源页签，单击添加数据源。在添加数据源对话框中配置以下信息。配置项说明实例类型固定选择云原生多模数据库Lindorm。实例地区选择目标Lindorm实例的所属地域。实例ID 选择目标Lindorm实例ID。说明请确保目标...

计算设置概述

计算引擎 说明操作文档离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...

MaxCompute账单用量明细分析

配置参数说明如下：产品：选择 大数据计算服务MaxCompute（按量付费）。计量规格：大数据计算服务MaxCompute（按量付费）是按量付费模式的计量明细。ODPSDataPlus 是包年包月模式的计量明细。使用时间：单击下拉框选择开始时间和结束时间。...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...

如何选择文件引擎规格

但随机读能力较弱，适用于大数据计算场景。文件引擎节点规格选择文件引擎节点负责承担读写带宽，管理Block数据块，提供HDFS通信协议支持。可以从两个维度确定您的场景需要的文件引擎节点数量：数据量维度：每个文件引擎节点可支撑10TB～50...

2023年

该地域项目的存储、下载后付费账单归属的产品明细将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...

大数据AI公共数据集分析

本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

金融大数据

大数据仓库充分利用了阿里云大数据产品强大的数据处理能力和数据计算能力。架构优势：合理解决了金融行业内外部数据整合问题优化了结数据架构分层提供了高效的数数据加工与服务方式技术架构架构说明：阿里云大数据数据仓库解决方案经历...

什么是DataWorks

DataWorks发展之路阿里巴巴集团内发展历程从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...

存储类型

说明容量型云存储使用高密度磁盘存储阵列，提供极低成本存储能力，和高吞吐读写能力，但随机读能力较弱，适用于写多读少场景或大数据计算场景。宽表引擎、文件引擎、流引擎不涉及。本地SSD盘 0.1ms~0.3ms 网络游戏、电商、视频直播、媒体...

查看账单详情

上图中，产品明细说明如下：大数据计算服务MaxCompute（按量付费）、消费类型为后付费：指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总，包括存储、计算、公网下载的按量计费账单。大数据计算服务...

简介

能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

计算设置概述

计算引擎 说明操作文档离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端...

提交并发布模型

发布模型至生产环境计算引擎 提交数据模型至开发环境计算引擎后，DataWorks运维、部署或空间管理员角色可以发布该数据模型至生产环境计算引擎。单击页面右上方的任务发布。在创建发布包页面，选中相应模型并单击其操作列的查看，查看...

产品架构

从上图可以看出EMR由四部分组成：社区开源产品集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见版本概述下各版本的版本说明。注意已经创建好的EMR集群不支持组件升级。...

Quick引擎概述

多模式BI计算引擎 Quick引擎作为Quick BI的计算底座，是一个多模式的BI计算引擎，支持数据库直接连接、抽取加速、查询缓存、维值加速等多种计算模式，为不同用户提供最适合自身场景的高效计算方案。Quick引擎架构图从Quick BI产品使用链路...

名词解释

本文将向您介绍城市视觉智能引擎产品中涉及的几个名词解释，以便于您更好地理解城市视觉智能引擎产品。实例（Instance）实例整合了数据接入、视频分析、图像搜索三大功能组件。实例的计算分析性能和适用业务场景由实例规格决定，具体指可...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

授权信息

资源类型资源ARN Quota acs:odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件（Condition）下表是云原生大数据计算服务 MaxCompute（MaxCompute）定义的产品级...

引擎与数据权限管控概述

绑定E-MapReduce计算引擎 EMR数据权限控制 CDH引擎通过为空间下的成员配置空间成员与Linux或Kerberos账号映射获得引擎权限。绑定CDH计算引擎 Hologres 通过引擎本身授权策略实现。您需要在创建空间并绑定Hologres引擎后，根据Hologres权限...

DataWorks V3.0

MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...

技术架构选型

在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

基础版Spark全密态计算引擎使用示例

本文以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，计算和分析密态数据，解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

应用场景

背景信息作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集...

升级和降配

在变配页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议和阿里云产品服务协议-MaxCompute，单击立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...

数据分析：即时快速分析

海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的...

云数据库RDS MySQL版

connectionMaxActive 数据库连接池大小 Integer 否 40 仅Flink计算引擎VVR 4.0.7及以上版本支持该参数。如果出现获取连接超时的问题，可能是连接池不够用，可适当增大连接池的大小。如果数据库能支持的最大并发连接比较小，可适当减小连接...

大数据计算引擎产品

新品推荐