外部表概述

外部表的数据不会存储在MaxCompute,所以在MaxCompute不会有存储费用,存储费用请关注数据源存储侧计费规则。在使用公网MaxComputeEndpoint连接使用外部表时,会产生公网流量费和下载费用。MaxCompute费用详情请参见 计费项与计费方式概述...

Tablestore外部表

注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务,所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时,推荐您使用Tablestore私网地址,即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...

RDS搭配大数据计算服务实现规模数据计算

本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务(MaxCompute,原名ODPS),可服务于批量结构化数据的存储和计算,提供海量数据仓库解决方案以及针对数据的分析建模服务。通过 数据集成 ...

计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink,支持...

查看账单详情

上图中,产品明细说明如下:大数据计算服务MaxCompute(按量付费)、消费类型为 后付费:指当日该账号开通MaxCompute按量付费标准版、开发者版中所有按量付费账单的汇总,包括存储、计算、公网下载的按量计费账单。大数据计算服务...

数据传输费用(公网下载)

本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单,您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...

查询执行模式

相比较于全内存计算的 Interactive 模式,Batch 模式可以对查询的任务进行分批执行,每个子任务在内存不足的情况下,自适应地将内存数据换出到磁盘,降低数据计算的成本,提升数据处理的容量上限。Interactive模式 AnalyticDB MySQL 接收到...

函数

自定义函数(UDF):为MaxCompute提供了高度的灵活性,允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数(UDF)可以进一步分为标量值函数(UDF)、自定义聚合函数(UDAF)和自定义表值函数(UDTF)三种类型。您在开发完成UDF...

Tunnel操作

MaxCompute仅对公网的数据下载,按照下载的数据大小进行计费,一次下载费用=下载数据量(GB)×下载价格(0.8元/GB)。使用限制 只支持下载到单个文件,每一次下载只支持下载一张表或一个分区到一个文件。分区表一定要指定下载的分区,多级...

羲和分析计算引擎

相对于传统的以数据为中心的计算方式,面向算子为中心的计算方式对现代CPU计算更友好:缓存友好的同时,利用乱序执行扩大了CPU的指令并发,利用SIMD又扩大CPU的数据并发,充分挖掘了现代CPU的算力。面向混合负载的查询执行 羲和分析计算...

创建数据板块

如果您管理诉求较强,数据研发人员较多且能力及分工明确,数据计算存储预算较高,推荐 此模式。创建Dev-Prod模式数据板块,请参见 创建Dev-Prod模式数据板块。Basic模式 生成独立的Basic数据板块,数据生产过程稳定且便捷。如果您关注数据...

转换计费方式

Quota作为MaxCompute计算资源的单元,默认计算Quota的计费方式即代表项目计费方式,修改项目默认计算Quota即可转换计费方式。前提条件 您已经开通MaxCompute的 按量计费 和 包年包月 规格。转换计费方式说明 按量计费 与 包年包月 规格的...

DataWorks V3.0

MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见 ...

数据质量保障原则

一致性 一致性通常体现在跨度很大的数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

使用DataWorks

MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...

MaxCompute账单用量明细分析

如果您想了解费用的分布情况并避免在使用MaxCompute产品时费用超出预期,您可以通过获取MaxCompute账单并进行分析,为资源使用率最大化及降低成本提供有效支撑。本文为您介绍如何通过用量明细表分析MaxCompute的费用分布情况。背景信息 ...

SDK接口

本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...

UDT示例

聚合操作 UDT实现聚合的原理是,先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List,之后对该List应用UDT的标量方法计算数据的聚合值。示例如下,计算BigInteger的中位数(由于数据是 java.math.BigInteger 类型的,所以不能直接...

选型配置说明

HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景,其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...

存储费用

MaxCompute会对存储的数据(例如表或资源)及备份的数据,按照数据容量大小进行计费。本文为您介绍存储费用计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右,因此多数情况下,您上传的数据文件大小与实际存储在MaxCompute的大小...

支持的连接器

MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据,只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

名词解释

提供安全可靠的数据计算能力,可供本地处理设备数据,减少上传云端的成本。Link IoT Edge软件包 阿里云IoT的边缘计算产品软件包,包含Link IoT Edge轻量版、标准版、专业版软件包。LE Lite Link IoT Edge轻量版,以二进制 tar.gz 的方式...

Serverless Spark概述

DLA Spark基于云原生架构,提供面向数据湖场景的数据分析和计算功能。开通DLA服务后,您只需简单的配置,就可以提交Spark作业,无需关心Spark集群部署。重要 云原生数据湖分析(DLA)产品已退市,云原生数据仓库 AnalyticDB MySQL 版 湖仓...

应用场景

本文将以部门场景和技术领域场景为例,为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎,Flink可以广泛应用于实时数据处理领域,例如ECS...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。背景信息 为满足用户基于MaxCompute进行规模数据处理、分析及数据挖掘的...

产品功能

时序数据计算能力 TSDB 提供专业全面的时序数据计算函数,支持降采样、数据插值和空间聚合计算,能满足各种复杂的业务数据查询场景。监控运维 TSDB 提供实例运维系统,让您可以实时的掌握实例的运行情况、性能指标和存储空间使用情况,并...

产品简介

多方安全建模控制台作为多方安全建模的可视化操作平台,提供了一站式端到端的数据安全计算服务,服务包括安全计算环境安装、数据连接、数据探查、数据分析、模型研发、模型投产和模型监控,同时可根据您的业务需求配置安全策略。...

授权信息

本文为您介绍 云原生大数据计算服务 MaxCompute(MaxCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。云原生大数据计算服务 MaxCompute(MaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 ...

基于混合负载的查询优化

Batch模式:采用批计算架构,通过DAG进行任务切分,分批调度,满足有限资源下大数据计算,支持计算数据落盘,适用于计算,吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...

产品计费

本文为您介绍计算巢服务的计费说明。计费概述 计算巢平台不收取平台使用费,只收取服务和服务部署时使用的阿里云云资源的费用计费计费计费说明 计费方式 计算巢平台 计算巢是一个功能平台,不收取平台的使用费。无 服务 根据服务商...

发展历程

产品荣誉 2022年11月,自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。2022年8月,MaxCompute在TPCx-BB 100TB标准测试中,连续6连贯全球冠军,保持性能和性价比第一。2021年12月,IDC发布《IDC MarketScape:中国...

云计算资源类型

计算资源是空间数据中台中空间数据使用的基础,通过了解空间数据的云计算资源类型,并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源,以备在添加空间数据时使用。本文介绍空间服务管理设计中支持使用的云计算资源类型。...

调优集群性能

UPDATE SQL 如果单个UPDATE WHERE语句命中了较多行数据计算引擎需要计算出所有命中行的主键,并更新其对应的字段值,然后再逐个下发给存储节点进行标记旧行以及追加(Append)新行的操作。一个UPDATE SQL操作步骤可能会放大很多倍,从而...

开发Dataphin数据源并加速数据查询

开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...

E

返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

PI

返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

功能简介

数据查询为用户提供对云计算资源中物理表基本情况的概览能力,帮助用户直观了解物理表基础信息、字段内容分布等情况,建立对数据表的宏观理解,为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...

基础版Spark全密态计算引擎使用示例

本文 以云数据库RDS MySQL例,介绍使用基础版Spark全密态计算引擎加密数据计算和分析密态数据,解密计算结果的完整过程。前提条件 AnalyticDB MySQL 湖仓版(3.0)集群与OSS存储空间位于相同地域。已创建数据库账号。如果您是通过阿里云...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 云服务器 ECS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用