大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。本文主要介绍如何通过DLA Serverless Spark访问MaxCompute。重要 云原生数据湖分析(DLA)产品已退市,云原生数据仓库 AnalyticDB MySQL 版 湖仓版...
本文介绍如何使用Databricks 读写MaxCompute数据。前提条件 已创建 MaxCompute实例,具体参见 快速体验MaxCompute 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群,具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...
背景信息 MaxCompute细化了项目(Project)、Quota、Networklink对象以及项目内的表(Table)、函数(Function)、资源(Resource)及实例(Instance)对象的操作,同时还支持对Tunnel下载、敏感数据访问及跨项目访问行为进行管控。...
MaxCompute Studio是阿里云MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件,帮助您便捷、快速地进行数据开发。本文将为您介绍MaxCompute Studio的功能界面和常用...
在SQL语句中使用自定义函数时,如果计算的数据量过大并且存在倾斜,会导致作业占用的 内存超出默认分配的内存。此时,您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题,请参见...
方式二:通过DataWorks控制台创建项目 DataWorks为阿里云提供的一站式大数据开发治理平台,您可以在DataWorks上进行MaxCompute作业开发、周期性调度、作业运维、数据治理等一站式数据开发治理操作,如果您希望后续使用DataWorks一站式开发...
本文为您介绍如何配置MaxCompute Studio以及各项配置项信息。安装MaxCompute Studio插件后,在顶部菜单栏,单击 File>Settings.,即可进入 MaxCompute Studio 配置对话框。MaxCompute Studio配置选项 在 Settings 对话框左侧导航栏上,单击...
安装MaxCompute Studio,即在IntelliJ IDEA上安装MaxCompute Studio插件,您可以选择在线安装或本地安装其中任意一种方式进行安装。本文为您介绍MaxCompute Studio的安装方式及操作步骤。前提条件 MaxCompute Studio安装环境需要满足以下...
MaxCompute Studio集成了MaxCompute客户端,您可以在MaxCompute Studio中直接运行MaxCompute客户端。背景信息 MaxCompute Studio中已包含最新版MaxCompute客户端程序,并指定为默认客户端。您也可自行指定其他版本客户端程序。操作步骤 ...
MaxCompute提供离线和实时的数据接入,支持大规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和...
MaxCompute支持您使用 MaxCompute控制台、MaxCompute客户端、MaxCompute Studio和DataWorks工具处理数据。本文指导您基于MaxCompute提供的公开数据集,通过 MaxCompute控制台,快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到...
背景信息 在MaxCompute中作业由一个或者多个任务(Task)组成,Task是MaxCompute的基本计算单元,Task的详情请参见 任务。MaxCompute中数据开发作业主要存在以下三种类型:周期性调度作业、数据集成作业、数据分析作业。典型场景 创建作业...
MaxCompute支持您通过数据库管理工具DBeaver访问MaxCompute项目,进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动,连接DBeaver和MaxCompute项目并管理数据。背景信息 DBeaver是一款免费的多平台数据库工具,适用于开发人员、...
MaxCompute支持您将MaxCompute项目数据接入Tableau进行可视化分析,您可以利用Tableau简便的拖放式界面,自定义视图、布局、形状、颜色等,帮助您展现自己的数据视角。本文为您介绍如何通过MaxCompute JDBC驱动,连接Tableau和MaxCompute...
MaxCompute支持您将MaxCompute项目数据接入FineReport,您通过简单拖拽式操作便可制作中国式复杂报表。本文为您介绍如何通过MaxCompute JDBC驱动,连接FineReport和MaxCompute项目,并进行报表分析。背景信息 FineReport是帆软软件有限公司...
本文为您介绍MaxCompute数据迁移的准备事项和操作步骤。准备事项 同Region项目迁移。要求有能够同时访问源项目和⽬的项目的账号,该账号对源项目和⽬的项目有List、建表,读写表权限。EMR+DLF+OSS迁移MaxCompute。需要先构建MaxCompute的湖...
法律声明 阿里云提醒您在阅读或使用本文档之前请仔细阅读、充分理解本法律声明各条款的内容。如果您阅读或使用本文档,您的阅读或使用行为将被视为对本声明全部内容的认可。您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本...
MaxCompute支持您将MaxCompute项目数据接入Superset,帮助您快速、轻量、直观地探索和可视化分析数据。本文为您介绍如何通过PyODPS连接Superset和MaxCompute项目,并进行可视化数据分析。背景信息 Apache Superset是一个现代数据探索和可视...
MaxCompute Studio支持开发Java UDF、MapReduce和Graph等程序,首先您需要新建一个MaxCompute Java Module。本文为您介绍如何新建MaxCompute Java Module。前提条件 已连接MaxCompute项目,详情请参见 管理项目连接。操作步骤 在IntelliJ ...
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台,MaxCompute支持您将MaxCompute项目数据接入Sugar BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目,并进行可视化数据分析。前提条件 ...
MaxCompute支持脚本模式SQL(Script Mode SQL)。使用脚本模式时,一个多语句的SQL脚本文件将被作为一个整体进行编译、提交并生成一个执行计划,保证只需排队、执行一次,保障充分利用资源。使用MaxCompute Studio开发SQL程序时即使用了...
角色用途:用于授权MaxCompute访问大数据计算平台其他云产品,如Hologres等。绑定的角色策略:AliyunServiceRolePolicyForMaxComputeIdentityMgmt 权限策略详情:{"Statement":[{"Effect":"Allow","Action":"odps:ActOnBehalfOfAUser",...
本文为您介绍MaxCompute SQL常见使用场景,让您快速掌握SQL的写法。准备数据集 本文以emp表和dept表为示例数据集。您可以自行在MaxCompute项目上创建表并上传数据。数据导入请参见 概述。下载 emp表数据文件 和 dept表数据文件。创建emp表...
当移动数据分析自带的基础分析报表不能满足App开发者的个性化需求时,App开发者可以将数据一键同步至MaxCompute,结合自己的业务需求来进一步加工、分析自己的数据。操作步骤 使用主账号登录 MaxCompute控制台。单击 个人信息,修改...
MaxCompute产品服务协议的详情,请参见 阿里云产品服务协议-MaxCompute。
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台,可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具,更是数据化运营的助推器。更多Quick BI信息,请参见 Quick ...
MaxCompute支持您通过数据库管理工具DataGrip访问MaxCompute项目,进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动,连接DataGrip和MaxCompute项目并管理数据。背景信息 DataGrip是面向开发人员的数据库管理环境,为查询、创建...
Kettle支持丰富的输入输出数据源,数据库支持Oracle、MySQL、DB2等,也支持各种开源的大数据系统,例如HDFS、HBase、Cassandra、MongoDB等。您可以在Kettle中通过创建Job的方式连接MaxCompute项目,并按照ETL流程调度作业。前提条件 在执行...
MaxCompute支持您将MaxCompute项目数据接入Yonghong BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目,并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具,基于...
MaxCompute支持您将MaxCompute项目数据接入FineBI,帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作。本文为您介绍如何通过MaxCompute JDBC驱动,连接FineBI和MaxCompute项目,并进行可视化数据分析。背景信息 FineBI是帆...
MaxCompute支持您将MaxCompute项目数据接入观远BI,帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动,连接观远BI和MaxCompute项目,并进行可视化...
如果您不再需要示例数据或MaxCompute项目,可以删除数据或MaxCompute项目,以免产生不必要的资源浪费及账单费用。本文为您介绍如何删除表或MaxCompute项目。背景信息 您可以根据实际需要判断是否要保留示例数据及MaxCompute项目:如果需要...
Hologres具备高并发地实时写入和查询数据的能力,同时支持数据无需迁移就能高性能加速分析MaxCompute数据,通过联邦分析Hologres实时数据与MaxCompute离线数据,实现离线实时一体化的数据仓库产品解决方案。您可以使用MaxCompute和Hologres...
MaxCompute支持您将MaxCompute项目数据接入Davinci,您只需在可视化UI界面上简单配置即可服务多种数据可视化应用。本文为您介绍如何通过MaxCompute JDBC驱动,连接Davinci和MaxCompute项目,并进行可视化数据分析。背景信息 Davinci是面向...
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据,此外,DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发(DataStudio)查询数据后,您可...
MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
不声明任何参数的默认行为为全量读取所有分区,若您需要读取特定分区,或使用增量源表模式,可以参考 大数据计算服务MaxCompute 中的参数设置,在SQL注释中声明,例如:读取特定分区:SELECT*FROM `<catalogName>`.`<projectName>`.`...
背景信息 大数据计算服务(MaxCompute)是一种快速、完全托管的EB级数据仓库,致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。Hologres是兼容PostgreSQL协议的实时交互式分析引擎,与MaxCompute存储原生...
MaxCompute本地客户端(odpscmd)直接在您的本地计算机上运行,提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。本文为您介绍如何安装并启动MaxCompute客户端,启动成功后即表示已经登录MaxCompute客户端并进入MaxCompute项目...