报错FAILED:ODPS-0420061:Invalid parameter in ...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息：FAILED:ODPS-0420061:Invalid parameter in ...问题原因 小文件过多。解决方法 您可以通过以下命令来查看表中的小文件数量：desc...
安装并登录MaxCompute本地客户端
MaxCompute本地客户端（odpscmd）直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。本文为您介绍如何安装并启动MaxCompute客户端，启动成功后即表示已经登录MaxCompute客户端并进入MaxCompute项目...
StarRocks Connector
前提条件 已部署V3.2.3及以上版本StarRocks集群，且确保StarRocks集群能够正常访问MaxCompute服务。关于如何部署StarRocks集群操作，详情请参见 使用Docker Compose部署StarRocks存算一体集群。注意事项 StarRocks仅支持查询MaxCompute数据...
使用DataWorks连接
本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎的计算任务，并进行周期调度。使用DataWorks连接MaxCompute有如下方式：...
快速入门
前提条件 已开通MaxCompute服务，详情请参见 开通MaxCompute。已开通DataWorks服务，并创建工作空间，详情请参见 创建MaxCompute项目。操作步骤 新建PyODPS节点。为方便您快速开始，本文中使用DataWorks PyODPS节点进行开发，详情请参见 ...
TPC-DS数据
只要您已开通MaxCompute服务并创建项目，就可以通过跨项目访问的方式查询TPC-DS数据表，数据表信息如下所示。数据规格 项目名称 Schema名称 表名称 10 GB BIGDATA_PUBLIC_DATASET TPCDS_10G call_center catalog_page catalog_returns ...
权限概述
为确保MaxCompute项目数据的安全性，项目所有者或者具备授权...一旦某个用户通过DataWorks角色获取MaxCompute相关角色权限后，又通过命令行方式获得了其他的MaxCompute权限，会使该用户在MaxCompute上的权限与在DataWorks上查询到的不一致。
Endpoint
背景信息 MaxCompute提供MaxCompute服务和Tunnel服务：MaxCompute服务：连接地址为Endpoint，取值由地域及网络连接方式决定。您可以向MaxCompute发出除数据上传、下载外的所有请求，例如创建表、删除某个函数、执行计算作业。MaxCompute还...
准备工作
md.to_odps_table(df,"test_prefix_source_table").execute()#销毁 maxframe session session.destroy()参数说明：ALIBABA_CLOUD_ACCESS_KEY_ID：需将该环境变量设置为具备目标MaxCompute项目中待操作对象相关 MaxCompute权限 的AccessKey ...
SET
更多ACL授权信息，请参见 MaxCompute权限。True：打开。False：关闭。CheckPermissionUsingPolicy 设置是否开启Policy授权机制。更多Policy授权信息，请参见 Policy权限控制。True：打开。False：关闭。ObjectCreatorHasAccessPermission ...
SETPROJECT
关于ACL授权的更多信息，请参见 MaxCompute权限。True：打开。False：关闭。ALL 安全与权限 Project CheckPermissionUsingPolicy 设置是否开启Policy授权机制。关于Policy授权的更多信息，请参见 Policy权限控制。True：打开。False：关闭...
开发Graph
打包上传 调试成功之后，将Java程序打成JAR包，并作为资源上传至MaxCompute服务端。详情请参见 打包、上传和注册。运行Graph 通过MaxCompute客户端运行Graph。在左侧导航栏，单击 Project Explorer。右键单击项目名称，选择 Open in ...
Flag参数列表
关于ACL授权的更多信息，请参见 MaxCompute权限。True：打开。False：关闭。ALL 安全与权限 Project CheckPermissionUsingPolicy 设置是否开启Policy授权机制。关于Policy授权的更多信息，请参见 Policy权限控制。True：打开。False：关闭...
通过Java SDK查询权限信息
MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息，以JSON格式展示权限查询结果，满足多样化展示需求。本文为您介绍如何通过Java SDK方式查询权限信息并提供相关JSON格式的输出结果示例。前提条件 请确认您已安装...
API错误码（ODPS-04CCCCX）
更多授权信息，请参见 MaxCompute权限。ODPS-0420111:Not found the project Worker 1 项目不存在，API返回404错误。修改为已存在的项目。ODPS-0420121:The project has already existed Worker 1 项目已存在，API返回409错误。修改项目...
Spark on MaxCompute如何访问HBase
前提条件 在实践之前，您需要提前做好以下准备工作：已开通MaxCompute服务并创建MaxCompute项目。详情请参见 开通MaxCompute服务 和 创建MaxCompute项目。已开通DataWorks服务。详情请参见 DataWorks购买指导。已开通HBase服务，详情请参见...
Schema
your-end-point MaxCompute服务的连接地址。您需要根据创建MaxCompute项目时选择的地域以及网络连接方式配置Endpoint。各地域及网络对应的Endpoint值，请参见 Endpoint。重要 如果Endpoint配置有误，会出现无法访问错误，请务必仔细确认。...
通过控制台（新版）管理用户权限
{"Statement":[{"Action":["odps:CreateTable","odps:CreateInstance","odps:List"],"Effect":"Allow","Resource":["acs:odps:*:projects/project_name"]},{"Action":["odps:Describe","odps:Select"],"Effect":"Allow","Resource":["acs:...
PyODPS使用第三方包
而将对scipy的import放在evaluate函数体内部的原因是三方包仅在执行时可用，当UDF在MaxCompute服务端被解析时，解析环境不包含三方包，函数体外的三方包import会导致报错。将 test_psi_udf.py 上传为MaxCompute Python资源，并将 scipy-...
时区配置操作
为了保证MaxCompute在多个时区DATETIME类型数据的正确性，MaxCompute服务、Java SDK以及客户端将会进行版本更新（-oversea 后缀的Java SDK或客户端版本），更新后可能影响MaxCompute中已经存储的早于1928年的DATETIME类型数据的显示。...
模拟IDC Spark读写MaxCompute实践
获取Endpoint MaxCompute服务的连接地址。您需要根据创建MaxCompute项目时选择的地域以及网络连接方式配置Endpoint。各地域及网络对应的Endpoint值，请参见 Endpoint。创建Table 本实践需准备分区表和非分区表供测试使用，创建表详情请参见...
使用Flink写入数据（Transaction Table2.0）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
Spark On MaxCompute访问Phoenix数据
前提条件 在实践之前，您需要提前做好以下准备工作：已开通MaxCompute服务并创建MaxCompute项目。详情请参见 开通MaxCompute服务 和 创建MaxCompute项目。已开通DataWorks服务。详情请参见 DataWorks购买指导。已开通HBase服务，详情请参见...
TPC-DS性能测试
在进行TPC-DS测试前，您需要先开通MaxCompute服务并创建项目。具体操作请参见 创建项目。基于 包年包月 规格，开通MCQA，具体操作请参见 查询加速（MCQA）。测试工具准备。为方便用户测试，MaxCompute提供了TPC-DS性能自动化测试工具，可...
在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境，且已安装PyODPS包，参考：安装PyODPS。准备数据集 ...
内建函数常见问题
本文为您介绍MaxCompute内建函数的常见问题。问题类别 常见问题 日期函数 MaxCompute是否支持将2010/1/3格式转换为2010-01-03？如何将UNIX时间转为日期值？如何获取系统当前时间？使用YEAR、QUARTER、MONTH和DAY日期函数时，报错cannot be ...
基于MaxFrame实现大语言模型数据处理
MaxCompute权限 的AccessKey ID。您可以进入 AccessKey管理 页面获取AccessKey ID。ALIBABA_CLOUD_ACCESS_KEY_SECRET：需将该环境变量设置为AccessKey ID对应的AccessKey Secret。your-default-project：使用的MaxCompute项目名称。您可以...
快速入门
MaxCompute权限 的AccessKey ID。您可以进入 AccessKey管理 页面获取AccessKey ID。ALIBABA_CLOUD_ACCESS_KEY_SECRET：需将该环境变量设置为AccessKey ID对应的AccessKey Secret。your-default-project：使用的MaxCompute项目名称。您可以...
Python SDK示例：SQL
如果您使用了版本较低的 MaxCompute服务，或者调用Instance Tunnel出现了问题，PyODPS会给出告警并自动降级到旧的Result接口，您可根据告警信息判断导致降级的原因。如果Instance Tunnel的返回结果不合预期，您可以将该选项设为False，在...
公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
UDT概述
MaxCompute基于新一代的SQL引擎推出新功能UDT（User Defined Type）。MaxCompute的UDT功能允许您在SQL中直接调用第三方语言的类使用其方法，或直接使用第三方对象获取其数据内容。UDT介绍 很多SQL引擎中UDT与MaxCompute的复杂类型STRUCT...
MULTI INSERT
授权操作请参见 MaxCompute权限。功能介绍 在使用MaxCompute SQL处理数据时，multi insert 操作可以将数据插入不同的目标表或分区中，实现多路输出。使用限制 multi insert 操作的使用限制如下：单条 multi insert 语句中最多可以写255路...
多路输出（MULTI INSERT）
授权操作请参见 MaxCompute权限。功能介绍 在使用MaxCompute SQL处理数据时，multi insert 操作可以将数据插入不同的目标表或分区中，实现多路输出。使用限制 multi insert 操作的使用限制如下：单条 multi insert 语句中最多可以写255路...
创建项目
这样会出现创建的表的Owner不是创建者本人且创建表的人没有权限查看自己创建的表的情况。开发角色成员生产任务测试 任务发布到生产环境后，建议开发角色成员在运维中心对生产环境任务执行一次测试，以确保生产任务可正常执行。若任务执行...
基于MaxFrame实现分布式Pandas处理
ALIBABA_CLOUD_ACCESS_KEY_ID：需将该环境变量设置为具备目标MaxCompute项目中待操作对象相关 MaxCompute权限 的AccessKey ID。您可以进入 AccessKey管理 页面获取AccessKey ID。ALIBABA_CLOUD_ACCESS_KEY_SECRET：需将该环境变量设置为...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
开发及提交SQL脚本
脚本模式：为最新开发模式，可将整条脚本一次提交到MaxCompute服务端，由MaxCompute服务端提供整体优化，效率更高，推荐使用此模式。类型系统：类型系统主要解决SQL语句的兼容性问题。分为以下三种类型：旧有类型系统：MaxCompute旧类型的...
集成SQLAlchemy
CLOUD_ACCESS_KEY_ID'),os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),)engine=create_engine(conn_string)conn=engine.connect()ALIBABA_CLOUD_ACCESS_KEY_ID：具备访问目标MaxCompute项目权限的AccessKey ID，建议设为环境变量。...
使用自定义函数及Python第三方库
在较新版本的MaxCompute服务下，PyODPS也支持执行带有二进制代码或带有文件操作的Python库。这些库的后缀必须是 cp27-cp27m-manylinux1_x86_64，以 archive 方式上传，whl 后缀的包需要重命名为 zip。同时，作业需要开启 odps.isolation....
- 产品推荐
- 这些文档可能帮助您