计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库,是云端...

计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink,支持...

外部表概述

随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

金融大数据

数据仓库充分利用了阿里数据产品强大的数据处理能力和数据计算能力。架构优势:合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明:阿里数据数据仓库解决方案经历...

准备环境

实名认证,详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下:大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute,请...

什么是物联网边缘计算

同时,物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频 等能力,打造出云边端三位一体的计算体系。视频介绍 物联网边缘计算的核心功能如下:边缘实例 边缘实例提供一种类似文件夹的管理功能,您可以通过实例的方式管理边缘端...

什么是物联网边缘计算

物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力,打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件,是一个边缘实例业务的核心,提供整个边缘实例所需要的...

计费常见问题

SQL作业的费用计算方式为 输入数据量×复杂度×单价,因此在复杂度和单价不变情况下,输入数据量越费用越高。MaxCompute作业跑失败了会收费吗?MaxCompute有两种计费模式:按量计费:如果作业是按照按量计费进行运行的,当运行失败后,...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

开发Dataphin数据源并加速数据查询

开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...

开发Dataphin数据源并加速数据查询

开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

选择付费方式

对周期性高密度计算作业使用包年包月模式,对非周期性的规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据,通过读取其它账号下的表获取数据,从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现,详细请...

创建单账号跟踪

说明 创建跟踪首次投递到大数据计算服务时,需要选择大数据计算服务的配额,若当前地域下无可配额,请选择其他大数据计算服务地域。选择 投递到其他账号,设置 大数据计算服务ARN 和 大数据计算服务写入角色ARN。选择投递到其他账号时...

函数

自定义函数(UDF):为MaxCompute提供了高度的灵活性,允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数(UDF)可以进一步分为标量值函数(UDF)、自定义聚合函数(UDAF)和自定义表值函数(UDTF)三种类型。您在开发完成UDF...

通过选择已有表新建数据

数据源中引入业务所需的数据集,以便在模型画布中编辑业务模型时使用数据集。本文介绍如何通过选择已有表新建数据集。前提条件 已创建云计算资源,并通过查看云计算资源的物理表更新缓存表。具体操作,请参见 新建计算资源。背景信息 ...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。视频介绍 功能特性 详情信息,请参见 功能概览。为什么选择数据管理DMS 全域数据...

接入数据库实例

功能说明 DAS支持接入阿里数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库(包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等)。对于阿里数据库,创建实例后会自动接入DAS,无需手动接入。功能限制 ...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎(例如Flink、Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务,并接入上述计算引擎实现数据湖的分析...

跨账号授权配置

AnalyticDB for PostgreSQL:具体操作,请参见 创建AnalyticDB for PostgreSQL数据源 AnalyticDB for MySQL:具体操作,请参见 创建AnalyticDB for MySQL3.0数据数据源为RDS、Hive或Kafka 数据源实例所属云账号操作 登录 RAM 访问控制-...

数据质量保障原则

一致性 一致性通常体现在跨度很大的数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

计算巢按量付费服务云市场上报数据说明

计算巢服务上架云市场且设置为按量付费后,需要上报服务实例资源或数据以便云市场计算费用。本文介绍如何上报数据和修改数据的上报方式。背景信息 数据上报是指计算巢将云市场购买的计算巢服务实例中使用的资源数据推送至云市场,云市场在...

快速入门

如果您初次使用阿里云关系型数据库RDS,请参见快速入门系列文档,帮助您快速上手RDS。MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍:云数据库RDS MySQL MySQL是全球受...

从Amazon RDS for PostgreSQL增量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...

从Amazon RDS for PostgreSQL全量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

授权信息

以下仅列举产品级的条件关键字,阿里云定义的 通用条件关键字 也同样适用 云原生大数据计算服务 MaxCompute(MaxCompute)。其中,数据类型决定了您可以使用哪些条件运算符将请求中的值与权限策略语句中的值进行比较。您必须使用与数据类型...

阿里云账号实现数据传输

数据库实例 阿里数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...

使用MongoDB工具将腾讯云MongoDB迁移至阿里

使用MongoDB数据库自带的备份还原工具mongodump和mongorestore,您可以将腾讯云MongoDB副本集实例全...根据业务需求选择合适的时间,将业务切换至阿里云MongoDB实例中。如何连接阿里云MongoDB数据库 副本集实例连接说明 分片集群实例连接说明

什么是DataWorks

DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始,DataWorks与阿里巴巴业务共同发展,结合MaxCompute、Hologres等大数据计算引擎的能力,跨越多个技术阶段,支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...

创建Aliyun HBase数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 服务类型 根据数据源HBase选择...

从Amazon RDS for PostgreSQL增量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从Amazon RDS for PostgreSQL全量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

创建Aliyun HBase数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 服务类型 根据数据源HBase选择...

阿里云账号任务如何配置RAM授权

数据库实例 阿里数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...

升级和降配

在 变配 页面,配置升级后所需的CU数量,并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute,单击 立即购买。订单价格计算规则如下:升级订单价格计算=新配置剩余时长购买金额(新配置的月单价/30/24×剩余时...

创建ClickHouse数据

类型 支持公网数据库、阿里数据库与ECS(VPC)自建数据库,您可根据您数据库类型及业务情况进行选择与配置:公网数据库:通过公网可直接访问的数据库。阿里数据库:在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...

添加阿里云API网关数据

选择已有数据源 列表中选择配置完成 阿里云API网关 数据源。在下方 HTTP Method 列表中选择一种请求方式,可选择 GET、POST、PATCH、PUT、DELETE、HEAD 和 OPTIONS 这七种请求方式,具体这几种请求方式的解释说明,请参见 常用的请求...

管理Paimon Catalog

目前阿里云开源大数据平台E-MapReduce常见的计算引擎(例如Flink、Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务,并接入上述计算引擎实现数据湖的分析...

创建PostgreSQL数据

类型 支持公网数据库、阿里数据库与ECS(VPC)自建数据库,您可根据您数据库类型及业务情况进行选择与配置:公网数据库:通过公网可直接访问的数据库。阿里数据库:在阿里云购买的数据库。支持VPC网络或公网IP进行访问。VPC网络访问数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据传输服务 实时计算 Flink版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用