如何降低云服务器ECS与RDS PostgreSQL间的网络延迟
如果您的业务是建立在云服务器ECS上，并且通过内网连接RDS PostgreSQL数据库，在正常使用中发现延迟升高异常时，请参考本文指导降低云服务器ECS与RDS PostgreSQL间的网络延迟。查看内网延迟 登录 ECS实例列表，在上方选择地域，单击目标...
如何降低云服务器ECS与RDS PostgreSQL间的网络延迟
如果您的业务是建立在云服务器ECS上，并且通过内网连接RDS PostgreSQL数据库，在正常使用中发现延迟升高异常时，请参考本文指导降低云服务器ECS与RDS PostgreSQL间的网络延迟。查看内网延迟 登录 ECS实例列表，在上方选择地域，单击目标...
Spark Connector
阿里云提供了Spark Connector来简化Spark与MaxCompute之间的集成，MaxCompute支持通过Spark Connector调用Storage API直接访问MaxCompute底层存储，并且支持高并发的数据读写操作，而不通过MaxCompute前端服务层，提供更直接访问和操作数据...
2024年
共享后，MaxCompute将在共享时段内有权通过服务账号购买您预定单内未被购买的ECS实例，并部署MaxCompute服务，将ECS资源转换为您可直接使用的MaxCompute计算资源，实现在ECS资源闲置的情况下，降低使用云服务的总体资源成本。更多计费与...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
RAM权限
MaxCompute部分资源管理类的操作只能通过管理控制台来完成，其中有些操作权限通过RAM进行鉴权，本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。权限点列表 操作类别 Action ARN ARN示例 说明 项目管理 odps:...
ODPS-0110042
错误码：ODPS-0110042:current table is in INF version 错误：current table is in INF version you can't update cluster version 错误信息示例 FAILED:ODPS-0110042:current table is in INF version you can't update cluster version ...
运行安全命令示例
本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作：准备IntelliJ IDEA开发工具，请参见 安装Studio。配置MaxCompute Studio连接MaxCompute项目空间，请参见 创建MaxCompute项目连接...
ODPS-0123091
设置当前处理模式为严格模式，集团内部的flag是odps.sql.udf.strict.mode=true，中国公共云对应的flag是odps.function.strictmode odps>set odps.sql.udf.strict.mode=true;错误，因为输入数据'-'不能cast成bigint而且当前工作在strict模式...
MaxCompute如何访问Hologres
需配置以下配置项 spark.hadoop.odps.project.name=<MaxCompute_Project_Name>spark.hadoop.odps.end.point=<Endpoint>spark.hadoop.odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.odps.access.id=<AccessKey_ID>spark.hadoop.odps....
ODPS-0130241
错误码：ODPS-0130241:Illegal union operation 错误1：Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column ...
RDS外部表
使用限制 支持华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国（香港）、新加坡、德国（法兰克福）、美国（弗吉尼亚）地域通过 访问VPC方案（专线直连）连接MaxCompute和云数据库RDS，仅这九个地域...
ODPS-0121096
错误码：ODPS-0121096:MetaStore transaction conflict 错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...
ODPS-0130252
错误码：ODPS-0130252:Cartesian product is not allowed 错误1：cartesian product is not allowed without mapjoin 错误信息示例 ODPS-0130252:[m,n]Cartesian product is not allowed-cartesian product is not allowed without mapjoin...
数据输入输出
MaxFrame支持直连MaxCompute，允许对MaxCompute中的数据进行高效直接读写操作，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高了执行效率。MaxCompute表 您可以使用MaxCompute表创建MaxFrame DataFrame对象，并将计算...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
ODPS-0420095
错误2：You have no privilege 'odps:<Action>' on {acs:odps:*:projects/<project_name>} 错误信息（示例）ODPS-0420095:Access Denied-You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev} 错误码描述...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
RAM权限策略管理
MaxCompute支持通过使用阿里云的访问控制RAM（Resource Access Management）服务授权，将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色，按需为用户分配最小权限，从而降低企业的信息安全风险。本文为您介绍MaxCompute中...
Tablestore外部表
SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_external WHERE odps_orderkey>5000 AND odps_orderkey< 7000 ANDodps_orderdate>='1996-05-03' AND odps_orderdate< '1997-05-01' GROUP BYodps_...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
StarRocks Connector
catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"="http://service.cn-beijing.maxcompute.aliyun.com/api","odps.tunnel.quota"="pay-as-you-go...
常见问题
本文为您介绍执行MaxCompute准备工作过程中的常见问题。问题类别 常见问题 开通MaxCompute DataWorks与MaxCompute的区别是什么？如何区分DataWorks工作空间和MaxCompute项目？开通MaxCompute服务时，如何根据本身数据存储量以及计算任务...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
Spark on MaxCompute如何访问HBase
背景信息 Spark on MaxCompute可以访问位于阿里云VPC内的实例（ECS、HBase、RDS等）。MaxCompute底层网络和外网默认是隔离的，Spark on MaxCompute提供了一种方案通过配置 spark.hadoop.odps.cupid.vpc.domain.list 来访问阿里云的VPC网络...
ODPS-0110061
错误码：ODPS-0110061:Failed to run ddltask 错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:ODPS-0110061:Failed to run ddltask-Schema ...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
运行模式
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class com.aliyun.odps.spark.examples.SparkPi \ /path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar DataWorks执行模式 您可以在DataWorks中...
授权信息
云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{"Effect":"<Effect>","Action":...
用户规划与管理
当MaxCompute项目需要多人维护时，非项目所有者（Project Owner）的用户必须被加入MaxCompute项目中，且被授予相应的权限，才能操作MaxCompute中的表、资源、函数或作业（实例）。本文为您介绍MaxCompute支持的用户管理操作。背景信息 创建...
管理IP白名单
通过ECS设备访问MaxCompute服务，您需要配置的IP地址为NAT IP。NAT IP详情请参见 弹性公网IP。部署DataWorks的设备默认在白名单内，通过DataWorks提交MaxCompute作业不受限制，您无需配置白名单。VPC网络下的IP白名单。设置VPC网络下的IP白...
使用本地客户端（odpscmd）连接
如果您习惯使用命令行工具或者需要快速执行任务且不需要图形界面，建议您使用MaxCompute客户端访问MaxCompute项目并执行命令。MaxCompute客户端直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。...
常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
ECS资源复用版
为了加以区分，MaxCompute在共享时段内通过服务账号代客户购买的ECS实例的计算资源（vCPU和内存）费用，以 share_aliyun_used 形式体现在 云服务器ECS-即时生效容量预定（CR）的计费项中，详情请参见 计费概述。您可以前往 ECS价格详情页 ...
MapReduce常见问题
如何在本地调用MaxCompute服务器运行MapReduce任务？常见报错 执行MaxCompute MapReduce时，报错BufferOverflowException，如何解决？执行MaxCompute MapReduce时，报错Resource not found，如何解决？执行MaxCompute MapReduce时，报错...
编写Graph
说明 本示例将部署到MaxCompute项目的JAR包命名为odps-graph-example-sssp.jar。在MaxCompute客户端，执行如下命令运行SSSP。jar-libjars odps-graph-example-sssp.jar-classpath<LOCAL_JAR_PATH>/odps-graph-example-sssp.jar SSSP 1 sssp...
项目空间操作
用于避免用户使用DataHub/SLS等云服务访问MaxCompute项目时需要设置IP白名单。格式为：service1,service2。Service名称需提前在MaxCompute注册。目前常用于 日志投递 服务，其Service取值为 AliyunLogSLRService,AliyunLogDefaultService。...
SET
odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在...
Hologres外部表
ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' tblproperties('mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver','odps.federation.jdbc.target.db.type'='holo',['...
- 产品推荐
- 这些文档可能帮助您