MaxCompute控制台(MaxCompute Console):集成了MaxCompute客户端,可以输入和执行MaxCompute客户端命令。详情请参见 MaxCompute客户端。连接MaxCompute项目 使用Studio的大部分功能前需要您先连接MaxCompute项目,连接后即可通过Studio...
运行MaxCompute客户端 MaxCompute客户端可通过如下方式启动,您可以任选其中一种:方式一:安装包的脚本文件 在MaxCompute客户端安装路径下的 bin 文件夹中,双击 odpscmd.bat 文件(Windows系统)或者双击 odpscmd 文件(macOS系统),...
MaxCompute Studio集成了MaxCompute客户端,您可以在MaxCompute Studio中直接运行MaxCompute客户端。背景信息 MaxCompute Studio中已包含最新版MaxCompute客户端程序,并指定为默认客户端。您也可自行指定其他版本客户端程序。操作步骤 ...
准备环境及安装工具 使用MaxCompute客户端连接服务时,报错ODPS-0410031,如何解决?MaxCompute Studio支持集成安装的平台有哪些?DataWorks与MaxCompute的区别是什么?MaxCompute是数据仓库,负责存储数据或对数据进行一系列的开发和运算...
Project管理 创建、删除Project MaxCompute控制台(新版)MaxCompute客户端 MaxCompute Studio 支持 项目所有者 支持 不涉及 RAM账号依赖:需要在RAM上获取CreateProject、DeleteProject权限策略 跨Project访问 MaxCompute控制台(新版)...
本文介绍如何在MaxCompute客户端上运行SQL命令并通过Tunnel Download导出结果数据。前提条件 已向MaxCompute的表中导入数据。更多导入数据操作,请参见 导入数据。背景信息 MaxCompute客户端支持 DDL、DML、DQL 等操作,您可以结合相应语法...
您可以在如下工具平台执行这些命令:MaxCompute客户端 使用SQL分析连接 使用命令行(odpscmd)连接 使用DataWorks连接 MaxCompute Studio 移除可信项目 在当前项目中删除已添加的可信的项目。查看可信项目 在当前项目中查看已添加的可信的...
本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作:准备IntelliJ IDEA开发工具,请参见 安装Studio。配置MaxCompute Studio连接MaxCompute项目空间,请参见 创建MaxCompute项目连接...
您可以通过如下方式创建表:通过MaxCompute客户端的 常用命令 创建表。通过MaxCompute Studio可视化界面创建表,请参见 可视化管理内部表、外部表或视图。通过DataWorks可视化界面创建表,请参见 管理表。MaxCompute支持通过什么方式运行...
方式二:系统的命令行执行窗口 在系统的命令行执行窗口,进入MaxCompute客户端安装路径下的 bin 目录,执行 odpscmd 命令(Windows系统)或 sh odpscmd(Linux系统或Mac系统),即可启动MaxCompute客户端。返回如下信息,表明已成功连接...
背景信息 使用DataWorks或MaxCompute客户端提交SQL时,通常需要设置SQL的Flag。例如,Session级别使用MaxCompute 2.0数据类型时,需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK...
MaxCompute客户端 MaxCompute Studio DataWorks MaxCompute客户端:添加资源 注册函数 MaxCompute Studio:打包、上传及注册 DataWorks:创建并使用MaxCompute资源 创建并使用MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数。...
MaxCompute客户端 MaxCompute Studio DataWorks MaxCompute客户端:添加资源 注册函数 MaxCompute Studio:打包、上传及注册 DataWorks:创建并使用MaxCompute资源 创建并使用MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数。...
本文以通过MaxCompute客户端执行命令(Command)的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统,可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业,而且支持自定义Plugin,其中最简单...
SDK&Console配置选项对话框提供了 Installed Location 配置项,用以指定本地安装MaxCompute客户端的安装路径。MaxCompute Studio会自动检测路径中安装的MaxCompute客户端的版本,如果检测失败,会返回错误信息。说明 MaxCompute Studio 2.6...
1 2:2,3:1,4:4 2 1:2,3:2,4:1 3 1:1,2:2,5:1 4 1:4,2:1,5:1 5 3:1,4:1 操作步骤 运行MaxCompute客户端,并执行如下命令创建输入表sssp_in和输出表sssp_out。CREATE TABLE sssp_in(v bigint,es string);CREATE TABLE sssp_out(vertex bigint...
本文向您介绍如何使用Jar命令在MaxCompute客户端运行和提交MapReduce作业。MaxCompute客户端提供Jar命令用于运行MapReduce作业,举例如下。jar-conf \home\admin\myconf-resources a.txt,example.jar-classpath.\lib\example.jar:.\other_...
安装MaxCompute客户端的操作指导,请参见 安装并配置MaxCompute客户端。已搭建MaxCompute Spark开发环境。本实践的MaxCompute Spark开发环境搭建在Linux操作系统下,使用的是 Spark2.4.5 发布包。具体的操作指导,请参见 搭建MaxCompute ...
准备Policy脚本,并放置文件在MaxCompute客户端文件所在的 bin 目录下,脚本文件名称为 policy_1.json、内容如下:{"Statement":[{"Action":["odps:List","odps:CreateTable","odps:CreateInstance","odps:CreateResource","odps:...
使用客户端(odpscmd)连接、MaxCompute Studio、DataWorks MaxCompute客户端 添加资源 注册函数 MaxCompute Studio 打包、上传及注册 DataWorks 创建并使用MaxCompute资源 创建MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数...
连接MaxCompute的工具指引 至此,您已完成准备工作,请根据您选择的数据处理开发工具,参照指引执行后续操作,快速完成一个完整的MaxCompute使用链路:开发工具 工具指引 MaxCompute客户端 通过客户端使用MaxCompute 更多MaxCompute客户端...
测试步骤 在MaxCompute客户端中执行Sleep。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Sleep 10;jar-resources mapreduce-examples.jar-classpath data\...
通过 MaxCompute客户端、命令行(odpscmd)、MaxCompute SQL分析、使用DataWorks连接 或 MaxCompute Studio,运行权限查询相关命令,在命令行执行窗口直观展示权限查询结果。支持查询的权限 MaxCompute支持您通过Java SDK查询以下权限信息...
与MaxCompute客户端、MaxCompute Studio以及DataWorks一样,您通过MaxCompute JDBC驱动执行SQL时,会生成Logview URL。您可以通过Logview查看作业执行状态、追踪作业进度和获取作业执行结果。Logview URL可以通过 properties.log4j 参数...
通过MaxCompute客户端上传Extractor项目打包生成的JAR包。add jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar 为...
因此,和MaxCompute客户端,MaxCompute Studio以及DataWorks一样,通过MaxCompute JDBC Driver执行SQL时,会生成Logview URL。您可以通过Logview查看任务执行状态、追踪任务进度、获取任务执行结果。Logview URL可以通过配置日志输出...
在MaxCompute客户端执行如下命令将IP地址添加至IP白名单中:如果只配置经典网络IP白名单,则经典网络访问受配置限制,VPC网络访问全部禁止。配置命令示例如下。setproject odps.security.ip.whitelist=192.168.0.0 odps.security.vpc....
删除表 您可以在MaxCompute客户端执行如下命令删除MaxCompute项目中的表。drop table;删除表后,可执行如下命令确认表的删除结果。show tables;返回结果中无表信息,表明已删除成功。删除MaxCompute项目 MaxCompute不支持使用客户端运行...
项目所有者 通过MaxCompute客户端授权 通过DataWorks授权 项目级别(project)的Admin角色 说明 账户级别的Super_Administrator和Admin角色权限级别较高,不仅拥有管理权限,同时拥有各对象的使用权限。授权需慎重,建议仅向作为全局管理的...
本文为您介绍基于MaxCompute客户端通过Python 2 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作,请参见 安装并配置MaxCompute客户端。开发和使用步骤 1.代码开发 UDTF代码示例如下:#...
操作详情请参见 使用SQL分析连接、登录MaxCompute客户端。体验试用后:体验试用MaxCompute功能、了解数据开发查询的基本流程后,您可选择合适的开发工具,开展数据开发工作,此时您需要了解当前连接MaxCompute的工具有哪些,选择后连接...
操作步骤 在MaxCompute客户端上执行如下命令上传大于10 MB的资源。添加资源。add jar C:\test_mr\test_mr.jar-f;通过MaxCompute客户端上传的资源,在DataWorks左侧资源列表中不显示。因此需要执行如下命令查看资源列表,确认上传是否成功。...
默认下载100条数据,如果需要更多数据测试,请在MaxCompute客户端使用Tunnel命令或者MaxCompute Studio的表下载功能下载数据。下载完成后,您可以在 warehouse 目录下该表的 data 文件中看到下载的示例数据。本地运行框架会根据您指定的列...
2,1 1,1 3,1 测试步骤 在MaxCompute客户端中执行Sort。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Sort ss_in ss_out;预期结果 作业成功结束后,输出表ss_...
操作步骤 在MaxCompute客户端(odpscmd)执行如下语句创建表loghub,用于接收日志服务投递数据。CREATE TABLE loghub(id BIGINT,name STRING,salenum BIGINT)PARTITIONED BY(ds string);在日志服务中创建Project和Logstore。登录 日志服务...
使用限制:Proxima Java SDK目前只支持在Linux和Mac系统下的MaxCompute客户端执行任务命令。说明 Proxima CE在运行时分为两部分:本地运行任务和MaxCompute任务。本地运行任务是指里面没有涉及到MaxCompute的SQL、MapReduce和Graph任务的...
详情请参见 安装并配置MaxCompute客户端。导入导出使用的账号必须具备MaxCompute项目中表的操作权限。导入数据 在 Project Explorer 区域,单击MaxCompute项目的 Tables&Views 节点前的下拉箭头,右键单击需要导入数据的表,选择 Import ...
使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令,仅支持在客户端(odpscmd)工具中运行。注意事项 项目空间非工作空间。项目空间名称获取方式:登录 MaxCompute控制台,选择 工作区>项目管理,项目管理 页面的...
hello,odps hello,odps 测试步骤 在MaxCompute客户端中执行MapOnly。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.MapOnly wc_in wc_out map预期结果 作业...
使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令,仅支持在客户端(odpscmd)工具中运行。注意事项 项目空间非工作空间。项目空间名称获取方式:登录 MaxCompute控制台,选择 工作区>项目管理,项目管理 页面的...