DataWorks版本服务计费说明
DataWorks 版本购买 您可登录 DataWorks版本（包年包月）售卖页，购买DataWorks标准版、专业版、企业版使用。如您需要专业的售前购买指导，请查看 DataWorks购买指引，也可使用钉钉扫描下方二维码，加入DataWorks钉钉交流群进行售前咨询。...
DataWorks各版本详解
升级DataWorks版本 DataWorks版本级别由低到高依次为基础版、标准版、专业版、企业版，不同版本提供的服务存在差异，版本级别越高，提供的服务功能越丰富。若当前已开通使用的DataWorks版本无法满足您的业务需求，则您可登录 DataWorks控制...
DataWorks版本到期降级后功能变化清单
版本到期降级后功能变化清单 DataWorks标准版、专业版、企业版到期降级后的功能变化情况如下。DataWorks模块 功能点 到期降级变化 数据集成 自定义数据集成资源组 不影响使用自定义数据集成资源组的任务调度执行，但是不能对资源组进行任何...
准备工作
from odps import_version_as odps_version from mars import_version_as mars_version print(odps_version)print(mars_version)odps_version 为PyODPS版本，要求PyODPS为0.9.3.1以上版本。mars_version 为Mars版本，要求Mars为0.4.4以上...
通过DataWorks使用PyODPS
from odps import options options.sql.settings={'odps.sql.mapper.split.size':16} o.execute_sql('select*from pyodps_iris')#会根据全局配置添加hints 使用三方包 DataWorks节点预装了以下三方包，版本列表如下：包名 Python 2节点版本...
周期性调度作业概述
DataWorks版本费用：进行任务开发前，您需先开通DataWorks。如果开通的是增值版本的DataWorks（例如，企业版），则在开通时需支付相应增值版本的版本费用。任务调度的调度资源费用：任务开发完成后，进行任务调度时需使用调度资源。您需按...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
数据动态脱敏
DataWorks基础版暂时无法使用此功能，如您的DataWorks为基础版，请升级DataWorks为合适版本。详情请参见 DataWorks各版本详解。仅华北2（北京）、华东2（上海）、华东1（杭州）、西南1（成都）、华南1（深圳）、华北2（北京政务云）、华东2...
PyODPS制作第三方包
PyODPS自V0.11.3版本开始提供了 pyodps-pack 命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似 pip 命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz 的压缩包，其中包含所有依照MaxCompute...
开发ODPS SQL任务
DataWorks提供调度参数，可实现调度场景下代码动态入参，您可在ODPS SQL节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。创建表 您可使用 CREATE ...
2024年
2024年02月29日-DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年04月08日（周一）至 2024年05月30日（周四）期间，逐步升级各个地域的独享资源组，以增强PyODPS支持。本次升级的主要内容及各...
备份与恢复
概述 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。备份与恢复功能具备以下特点：默认开启，不需要手动...
PyODPS使用第三方包
本文为您介绍如何在PyODPS中使用第三方包。PyODPS制作第三方包的操作请参见 PyODPS制作第三方包。前提条件 已开通MaxCompute产品。如何开通请参见 开通MaxCompute。已开通DataWorks产品。如何开通请参见 开通DataWorks。上传三方包 使用...
PyODPS参数传递
本文为您介绍如何在DataWorks中进行PyODPS参数的传递。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
PyODPS查看一级分区
本文为您介绍如何在PyODPS中查看一级分区。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
PyODPS的去重
from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))print iris[['name']].distinct()print iris.distinct('name')print iris.distinct('name','sepallength').head(3)#您可以调用unique对Sequence进行去重操作，...
在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境，且已安装PyODPS包，参考：安装PyODPS。准备数据集 ...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
ODPS-0420095
错误码：ODPS-0420095:Access Denied 错误1：You have no privilege to create external project-you have to be owner,super admin or admin of the referred project.错误信息 ODPS-0420095:Access Denied-You have no privilege to ...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
配置选项
您可以通过 odps.options 获得PyODPS提供的配置选项。from odps import options#设置所有输出表的生命周期（lifecycle选项）。options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。options.tunnel....
Python SDK概述
PyODPS兼容Python2（2.6以上版本）和Python3版本。获取详细PyODPS信息的方式如下：了解PyODPS：PyODPS文档。下载 odps-python-sdk：Github。安装PyODPS：PyODPS安装指南。开发PyODPS：PyODPS开发指南。您也可以通过如下方式参与PyODPS的...
PyODPS的Sequence及执行操作
本文为您介绍如何进行PyODPS的Sequence及执行操作。前提条件 请提前完成如下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 创建表并导入数据...
项目空间
使用DataWorks：创建好PyODPS 2节点或PyODPS 3节点，详情请参见 通过DataWorks使用PyODPS。使用本地PC环境：安装好PyODPS并初始化ODPS入口对象。获取项目空间 使用MaxCompute入口对象的 get_project()方法获取项目空间。project=o.get_...
安装PyODPS
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
运行模式
MaxCompute Spark支持三种运行方式：Local模式、Cluster模式和DataWorks执行模式。Local模式 MaxCompute Spark支持用户以原生Spark Local模式进行作业调试。与Yarn Cluster模式类似，您首先需要做以下准备工作：准备MaxCompute项目以及对应...
Spark常见问题
在DataWorks ODPS Spark节点中选择jar、file、archive资源。说明 该方案在任务运行时会上传资源，对于较大资源建议采用方案一进行引用。如何访问VPC？当前MaxCompute Spark支持以下两种方式来访问阿里云VPC中的服务：反向访问方式 使用限制...
开发PyODPS脚本
PyODPS是MaxCompute Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，通过PyODPS，您可以在MaxCompute上进行数据分析。本文为您介绍如何开发PyODPS脚本，以实现与MaxCompute的高效交互和数据处理。前提条件 已配置Python...
作业优先级
Odps odps=new Odps(account);公共云URL。String odpsUrl="http://service.odps.aliyun.com/api";odps.setEndpoint(odpsUrl);odps.setDefaultProject("xxxxxxxxxx");SQLTask task=new SQLTask();task.setName("adhoc_sql_task_1");task....
PyODPS的排序
from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))#排序 print iris.sort('sepalwidth').head(5)#降序排列两种方式#设置参数ascending=False;进行降序排列 print iris.sort('sepalwidth',ascending=False).head(5...
查询加速（MCQA）
ODPS-SDK版本v0.40.8-public及以上要求，下载 ODPS-SDK。默认最大查询100W行数据，可通过在SQL语句中增加Limit关键字突破此限制。MCQA功能的详细使用限制如下。限制项 说明 功能 MCQA功能支持标准版、按量计费的MaxCompute服务。MCQA功能...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
RAM权限
{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:UpdateQuota","odps:UpdateQuotaPlan","odps:UpdateSubQuotas","odps:UpdateQuotaSchedule","odps:CreateQuotaPlan","odps:DeleteQuotaPlan","odps:CreateQuotaSchedule"],...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
PyODPS API概述
本文为您提供了PyODPS API文档链接，其中包含各函数的参数说明及示例。ODPS详解（Definitions）PyODPS DataFrame指南（DataFrame Reference）
- 产品推荐
- 这些文档可能帮助您