外部表概述

MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...

RDS搭配大数据计算服务实现规模数据计算

本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务(MaxCompute,原名ODPS),可服务于批量结构化数据的存储和计算,提供海量数据仓库解决方案以及针对数据的分析建模服务。通过 数据集成 ...

Tablestore外部表

注意事项 MaxCompute与Tablestore是两个独立的大数据计算和存储服务,所以两者之间的网络必须保证连通性。MaxCompute公共云服务访问Tablestore存储时,推荐您使用Tablestore私网地址,即Host名以 ots-internal.aliyuncs.com 作为结尾的地址...

与Spark集成分析

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos提供了不同级别的数据分析模型,...

函数

自定义函数(UDF):为MaxCompute提供了高度的灵活性,允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数(UDF)可以进一步分为标量值函数(UDF)、自定义聚合函数(UDAF)和自定义表值函数(UDTF)三种类型。您在开发完成UDF...

基本概念

设备接入 设备接入是指用户需要计算的设备接入到VCS后,可以上传数据完成计算。接入配额 接入配额是指基于用户设备购买接入量分配的设备接入数量的额度。设备注册 设备注册是指设备发送注册请求到VCS的SIP服务器中。注册成功后,设备处于...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

MAX_PT

返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现,select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...

数据质量保障原则

不同行业有不同的评估数据质量的标准。对于MaxCompute,数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

支持的连接器

MySQL√流模式 SQL和DataStream 是 云数据库RDS MySQL版×流模式和批模式 SQL 是 大数据计算服务MaxCompute√流模式和批模式 SQL和DataStream 不支持更新和删除结果表数据,只支持插入数据。数据总线DataHub√流模式和批模式 SQL和...

计算费用(按时计费)

本文为您介绍MaxCompute的按时计费规格计算费用规则。背景信息 MaxCompute按时计费规格以使用的CU量和使用时长作为计量指标,并在CU缩容成功后收取费用。按时计费规格基于包年包月规格进行弹性扩、缩容预留CU,支持对包年包月一级Quota...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

产品功能

时序数据计算能力 TSDB 提供专业全面的时序数据计算函数,支持降采样、数据插值和空间聚合计算,能满足各种复杂的业务数据查询场景。监控运维 TSDB 提供实例运维系统,让您可以实时的掌握实例的运行情况、性能指标和存储空间使用情况,并...

UDAF概述

在SQL语句中使用自定义函数时,如果计算的数据量过并且存在倾斜,会导致作业占用的 内存超出默认分配的内存。此时,您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题,请参见...

什么是DataWorks

DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始,DataWorks与阿里巴巴业务共同发展,结合MaxCompute、Hologres等大数据计算引擎的能力,跨越多个技术阶段,支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...

引擎功能

时序数据计算能力 Lindorm时序引擎提供专业全面的时序数据计算函数,支持降采样、数据插值和空间聚合计算,能满足各种复杂的业务数据查询场景。监控运维 Lindorm时序引擎提供实例运维系统,用户可以实时掌握实例的运行情况、性能指标和存储...

E

返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

PI

返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

授权信息

资源类型 资源ARN Quota acs:odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件(Condition)表是 云原生大数据计算服务 MaxCompute(MaxCompute)定义的产品级...

数据建模新能力解读

以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容:数据建模的发展背景。主要产品:DataWorks 课程时长:5分钟 课程内容:当前主流的数据建模方法论。主要产品:DataWorks 课程时长:4分钟 课程内容:数据...

虚拟关联

一、组件说明 虚拟关联是一种联邦学习组件,它允许在不共享原始数据的情况,多个参与方共同训练模型。虚拟关联可以保护每个参与方的数据隐私,且在联邦学习场景数据“视为本地数据”,提高建模效率。组件截图 二、参数说明 参数名称 ...

治理效果

操作 操作 为您提供查看数据趋势和健康分排行榜的入口:单击 操作 列的 图标,查看该项目下计算和存储的 近7天 或 近30天 数据趋势:单击 存储,进入 存储 页面,将鼠标悬浮在数据趋势曲线上,查看某日的健康分和存储量。单击 计算,...

POSITIVE

返回表达式的值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL positive(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr:必...相关函数 POSITIVE函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

NEGATIVE

返回表达式的负值。命令格式 TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL negative(TINYINT|SMALLINT|INT|BIGINT|DOUBLE|DECIMAL)参数说明 expr:...相关函数 NEGATIVE函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

ISNAN

判断表达式的值是否为 NaN,如果值为 NaN,返回True,否则返回False。命令格式 boolean isnan()参数说明 expr:必填。DOUBLE类型。...相关函数 ISNAN函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

UNHEX

返回十六进制字符串所代表的字符串。此函数为MaxCompute 2.0扩展函数。命令格式 binary unhex(string)参数说明 number:必填。为十六进制字符串。...相关函数 UNHEX函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

ATAN2

计算 expr1/expr2 的反正切函数。命令格式 double atan2(,)参数说明 expr1:必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时,会隐式转换为...相关函数 ATAN2函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

技术架构选型

数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

PGVector

背景信息 随着数据科学和机器学习等技术的迅速发展,向量计算已经成为了大数据领域中最常见的计算任务之一。PolarDB PostgreSQL版(兼容Oracle)作为一种广泛使用的关系型数据库,结合PGVector插件后通过自定义的数据类型和存储方法,使得...

FILTER

将ARRAY数组 a 中的元素利用 func 进行过滤,返回一个新的ARRAY数组。命令格式 array<T>filter(array<T><a>,function,boolean>)参数说明 a:必填。...相关函数 FILTER函数属于数学函数,更多数据计算、数据转换的相关函数请参见 数学函数。

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

TableTunnel

TableTunnel是访问MaxCompute Tunnel服务的入口类,仅支持表数据(非视图)的上传和下载。TableTunnel接口定义及说明 TableTunnel接口定义如下,详情请参见 Java-sdk-doc。public class TableTunnel { public DownloadSession ...

存储成本优化

本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言,有三个关键点:合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...

升级和降配

在 变配 页面,配置升级后所需的CU数量,并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute,单击 立即购买。订单价格计算规则如下:升级订单价格计算=新配置剩余时长购买金额(新配置的月单价/30/24×剩余时...

应用场景

随着大数据时代的到来,图计算在处理海量关系数据上的优势也越来越明显,在商品推荐、社交网络、金融风控、网络安全等场景上应用也日趋广泛。个性化推荐 图计算引擎在处理海量关系数据上具备天然优势,能够提高实时推荐的效率和准确性。以...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...

数据质量教程概述

数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前,请您首先完成 搭建互联网在线运行分析平台 教程,详情请参见 业务场景与开发流程。业务场景 ...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

使用DataHub(实时数据传输)

DataHub 是MaxCompute提供的流式数据处理(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能,支持流式数据归档至...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用