认识MaxCompute Studio

MaxCompute控制台(MaxCompute Console):集成了MaxCompute客户端,可以输入和执行MaxCompute客户端命令。详情请参见 MaxCompute客户端。连接MaxCompute项目 使用Studio的大部分功能前需要您先连接MaxCompute项目,连接后即可通过Studio...

使用本地客户端(odpscmd)连接

运行MaxCompute客户端 MaxCompute客户端可通过如下方式启动,您可以任选其中一种:方式一:安装包的脚本文件 在MaxCompute客户端安装路径下的 bin 文件夹中,双击 odpscmd.bat 文件(Windows系统)或者双击 odpscmd 文件(macOS系统),...

集成MaxCompute客户端

MaxCompute Studio集成了MaxCompute客户端,您可以在MaxCompute Studio中直接运行MaxCompute客户端。背景信息 MaxCompute Studio中已包含最新版MaxCompute客户端程序,并指定为默认客户端。您也可自行指定其他版本客户端程序。操作步骤 ...

常见问题

准备环境及安装工具 使用MaxCompute客户端连接服务时,报错ODPS-0410031,如何解决?MaxCompute Studio支持集成安装的平台有哪些?DataWorks与MaxCompute的区别是什么?MaxCompute是数据仓库,负责存储数据或对数据进行一系列的开发和运算...

用户与权限

Project管理 创建、删除Project MaxCompute控制台(新版)MaxCompute客户端 MaxCompute Studio 支持 项目所有者 支持 不涉及 RAM账号依赖:需要在RAM上获取CreateProject、DeleteProject权限策略 跨Project访问 MaxCompute控制台(新版)...

运行SQL命令并导出结果数据

本文介绍如何在MaxCompute客户端上运行SQL命令并通过Tunnel Download导出结果数据。前提条件 已向MaxCompute的表中导入数据。更多导入数据操作,请参见 导入数据。背景信息 MaxCompute客户端支持 DDL、DML、DQL 等操作,您可以结合相应语法...

安全操作

您可以在如下工具平台执行这些命令MaxCompute客户端 使用SQL分析连接 使用命令行(odpscmd)连接 使用DataWorks连接 MaxCompute Studio 移除可信项目 在当前项目中删除已添加的可信的项目。查看可信项目 在当前项目中查看已添加的可信的...

运行安全命令示例

本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作:准备IntelliJ IDEA开发工具,请参见 安装Studio。配置MaxCompute Studio连接MaxCompute项目空间,请参见 创建MaxCompute项目连接...

常见问题

您可以通过如下方式创建表:通过MaxCompute客户端的 常用命令 创建表。通过MaxCompute Studio可视化界面创建表,请参见 可视化管理内部表、外部表或视图。通过DataWorks可视化界面创建表,请参见 管理表。MaxCompute支持通过什么方式运行...

安装并登录MaxCompute本地客户端

方式二:系统的命令行执行窗口 在系统的命令行执行窗口,进入MaxCompute客户端安装路径下的 bin 目录,执行 odpscmd 命令(Windows系统)或 sh odpscmd(Linux系统或Mac系统),即可启动MaxCompute客户端。返回如下信息,表明已成功连接...

在SQL语句中设置Flag示例

背景信息 使用DataWorks或MaxCompute客户端提交SQL时,通常需要设置SQL的Flag。例如,Session级别使用MaxCompute 2.0数据类型时,需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK...

MaxCompute UDF概述

MaxCompute客户端 MaxCompute Studio DataWorks MaxCompute客户端:添加资源 注册函数 MaxCompute Studio:打包、上传及注册 DataWorks:创建并使用MaxCompute资源 创建并使用MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数。...

UDAF概述

MaxCompute客户端 MaxCompute Studio DataWorks MaxCompute客户端:添加资源 注册函数 MaxCompute Studio:打包、上传及注册 DataWorks:创建并使用MaxCompute资源 创建并使用MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数。...

使用Azkaban调度MaxCompute

本文以通过MaxCompute客户端执行命令(Command)的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统,可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业,而且支持自定义Plugin,其中最简单...

配置MaxCompute Studio

SDK&Console配置选项对话框提供了 Installed Location 配置项,用以指定本地安装MaxCompute客户端的安装路径。MaxCompute Studio会自动检测路径中安装的MaxCompute客户端的版本,如果检测失败,会返回错误信息。说明 MaxCompute Studio 2.6...

编写Graph

1 2:2,3:1,4:4 2 1:2,3:2,4:1 3 1:1,2:2,5:1 4 1:4,2:1,5:1 5 3:1,4:1 操作步骤 运行MaxCompute客户端,并执行如下命令创建输入表sssp_in和输出表sssp_out。CREATE TABLE sssp_in(v bigint,es string);CREATE TABLE sssp_out(vertex bigint...

MapReduce作业提交

本文向您介绍如何使用Jar命令MaxCompute客户端运行和提交MapReduce作业。MaxCompute客户端提供Jar命令用于运行MapReduce作业,举例如下。jar-conf \home\admin\myconf-resources a.txt,example.jar-classpath.\lib\example.jar:.\other_...

MaxCompute如何访问Hologres

安装MaxCompute客户端的操作指导,请参见 安装并配置MaxCompute客户端。已搭建MaxCompute Spark开发环境。本实践的MaxCompute Spark开发环境搭建在Linux操作系统下,使用的是 Spark2.4.5 发布包。具体的操作指导,请参见 搭建MaxCompute ...

授权实践

准备Policy脚本,并放置文件在MaxCompute客户端文件所在的 bin 目录下,脚本文件名称为 policy_1.json、内容如下:{"Statement":[{"Action":["odps:List","odps:CreateTable","odps:CreateInstance","odps:CreateResource","odps:...

UDTF概述

使用客户端(odpscmd)连接、MaxCompute Studio、DataWorks MaxCompute客户端 添加资源 注册函数 MaxCompute Studio 打包、上传及注册 DataWorks 创建并使用MaxCompute资源 创建MaxCompute函数 ⑥ 必选 基于上传的JAR包资源创建自定义函数...

选择连接工具

连接MaxCompute的工具指引 至此,您已完成准备工作,请根据您选择的数据处理开发工具,参照指引执行后续操作,快速完成一个完整的MaxCompute使用链路:开发工具 工具指引 MaxCompute客户端 通过客户端使用MaxCompute 更多MaxCompute客户端...

Sleep示例

测试步骤 在MaxCompute客户端中执行Sleep。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Sleep 10;jar-resources mapreduce-examples.jar-classpath data\...

通过Java SDK查询权限信息

通过 MaxCompute客户端命令行(odpscmd)、MaxCompute SQL分析、使用DataWorks连接 或 MaxCompute Studio,运行权限查询相关命令,在命令行执行窗口直观展示权限查询结果。支持查询的权限 MaxCompute支持您通过Java SDK查询以下权限信息...

概述

MaxCompute客户端、MaxCompute Studio以及DataWorks一样,您通过MaxCompute JDBC驱动执行SQL时,会生成Logview URL。您可以通过Logview查看作业执行状态、追踪作业进度和获取作业执行结果。Logview URL可以通过 properties.log4j 参数...

外部表常见问题

通过MaxCompute客户端上传Extractor项目打包生成的JAR包。add jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar 为...

JDBC常见问题

因此,和MaxCompute客户端,MaxCompute Studio以及DataWorks一样,通过MaxCompute JDBC Driver执行SQL时,会生成Logview URL。您可以通过Logview查看任务执行状态、追踪任务进度、获取任务执行结果。Logview URL可以通过配置日志输出...

管理IP白名单

MaxCompute客户端执行如下命令将IP地址添加至IP白名单中:如果只配置经典网络IP白名单,则经典网络访问受配置限制,VPC网络访问全部禁止。配置命令示例如下。setproject odps.security.ip.whitelist=192.168.0.0 odps.security.vpc....

删除表或MaxCompute项目

删除表 您可以在MaxCompute客户端执行如下命令删除MaxCompute项目中的表。drop table;删除表后,可执行如下命令确认表的删除结果。show tables;返回结果中无表信息,表明已删除成功。删除MaxCompute项目 MaxCompute不支持使用客户端运行...

为用户赋予内置管理角色

项目所有者 通过MaxCompute客户端授权 通过DataWorks授权 项目级别(project)的Admin角色 说明 账户级别的Super_Administrator和Admin角色权限级别较高,不仅拥有管理权限,同时拥有各对象的使用权限。授权需慎重,建议仅向作为全局管理的...

Python 2 UDTF读取MaxCompute资源示例

本文为您介绍基于MaxCompute客户端通过Python 2 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作,请参见 安装并配置MaxCompute客户端。开发和使用步骤 1.代码开发 UDTF代码示例如下:#...

开通MaxCompute和DataWorks

操作详情请参见 使用SQL分析连接、登录MaxCompute客户端。体验试用后:体验试用MaxCompute功能、了解数据开发查询的基本流程后,您可选择合适的开发工具,开展数据开发工作,此时您需要了解当前连接MaxCompute的工具有哪些,选择后连接...

解决DataWorks 10 MB文件限制问题最佳实践

操作步骤 在MaxCompute客户端上执行如下命令上传大于10 MB的资源。添加资源。add jar C:\test_mr\test_mr.jar-f;通过MaxCompute客户端上传的资源,在DataWorks左侧资源列表中不显示。因此需要执行如下命令查看资源列表,确认上传是否成功。...

开发Python UDF

默认下载100条数据,如果需要更多数据测试,请在MaxCompute客户端使用Tunnel命令或者MaxCompute Studio的表下载功能下载数据。下载完成后,您可以在 warehouse 目录下该表的 data 文件中看到下载的示例数据。本地运行框架会根据您指定的列...

Sort示例

2,1 1,1 3,1 测试步骤 在MaxCompute客户端中执行Sort。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.Sort ss_in ss_out;预期结果 作业成功结束后,输出表ss_...

通过日志服务迁移日志数据至MaxCompute

操作步骤 在MaxCompute客户端(odpscmd)执行如下语句创建表loghub,用于接收日志服务投递数据。CREATE TABLE loghub(id BIGINT,name STRING,salenum BIGINT)PARTITIONED BY(ds string);在日志服务中创建Project和Logstore。登录 日志服务...

利用MaxCompute External Volume处理非结构化数据

使用限制:Proxima Java SDK目前只支持在Linux和Mac系统下的MaxCompute客户端执行任务命令。说明 Proxima CE在运行时分为两部分:本地运行任务和MaxCompute任务。本地运行任务是指里面没有涉及到MaxCompute的SQL、MapReduce和Graph任务的...

导入导出表数据

详情请参见 安装并配置MaxCompute客户端。导入导出使用的账号必须具备MaxCompute项目中表的操作权限。导入数据 在 Project Explorer 区域,单击MaxCompute项目的 Tables&Views 节点前的下拉箭头,右键单击需要导入数据的表,选择 Import ...

ADD ACCOUNTPROVIDER

使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令,仅支持在客户端(odpscmd)工具中运行。注意事项 项目空间非工作空间。项目空间名称获取方式:登录 MaxCompute控制台,选择 工作区>项目管理,项目管理 页面的...

MapOnly示例

hello,odps hello,odps 测试步骤 在MaxCompute客户端中执行MapOnly。jar-resources mapreduce-examples.jar-classpath data\resources\mapreduce-examples.jar com.aliyun.odps.mapred.open.example.MapOnly wc_in wc_out map预期结果 作业...

REMOVE ACCOUNTPROVIDER

使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令,仅支持在客户端(odpscmd)工具中运行。注意事项 项目空间非工作空间。项目空间名称获取方式:登录 MaxCompute控制台,选择 工作区>项目管理,项目管理 页面的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云存储网关 检索分析服务 Elasticsearch版 短信服务 云原生大数据计算服务 MaxCompute 钉钉会议 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用