通过日志服务迁移日志数据至MaxCompute

MaxCompute投递新版说明请参见 创建MaxCompute投递任务(新版)。配置完成后,单击 确定,启动投递。启动投递功能后,日志服务后台会定期启动离线投递任务。在 提示 对话框,单击 确定,返回日志服务控制台查看投递运行状态。执行如下语句...

概述

LogHub 日志服务SLS提供数据投递功能,将LogHub实时采集的日志投递MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute。此方法适用于海量数据场景,对数据量不设上限,同时支持行、列和TEXTFILE等各种存储格式以及用户自定义...

数据传输服务(上传)场景与工具

数据投递:您可以通过DataHub、SLS、Kafka版服务的MaxCompute Sink Connector、Blink 将数据投递MaxCompute。开源工具及插件:您可以通过 Sqoop、Kettle、Flume、Fluentd插件、OGG、MMA 将数据上传至MaxCompute。产品工具:MaxCompute...

功能特性

DataHub(实时)SLS投递 将日志服务采集的数据投递MaxCompute。SLS投递 下载数据 客户端(odpscmd)或Studio MaxCompute的客户端(odpscmd)、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载。客户端(odpscmd)或Studio...

Spark Connector

test spark.hadoop.odps.access.id=L*spark.hadoop.odps.access.key=*spark.hadoop.odps.end.point=http://service.cn-beijing.maxcompute.aliyun.com/api spark.hadoop.odps.tunnel.quota.name=ot_xxxx_p#ot_xxxx ##配置MaxCompute Catalog ...

数据类型版本说明

MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个:odps.sql.type.system.odps2:MaxCompute 2.0数据类型版本的开关,属性值为True或False。odps.sql.decimal.odps2:MaxCompute 2.0的Decimal数据类型的开关,属性值为...

ODPS-0123144

错误码:ODPS-0123144:Fuxi job failed 错误1:kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...

RAM权限

{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:ListProjects","odps:GetProject","odps:CreateProject","odps:DeleteProject","odps:UpdateProjectDefaultQuota"],"Resource":"*"}]} 支持MaxCompute Quota对象管理权限...

运行安全命令示例

本文为您介绍如何在MaxCompute客户端上使用Java SDK接口运行安全相关的命令。前提条件 您需要完成以下操作:准备IntelliJ IDEA开发工具,请参见 安装Studio。配置MaxCompute Studio连接MaxCompute项目空间,请参见 创建MaxCompute项目连接...

ODPS-0121096

错误码:ODPS-0121096:MetaStore transaction conflict 错误1:Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误信息 ODPS-0121096:...

数据输入输出

df=md.read_odps_table("parted_odps_table",partitions=["pt1=20240119,pt2=10"],index_col=["idx_col"])如果需要将预处理的中间数据存储到MaxCompute表中,可以使用 to_odps_table 方法。df.to_odps_table("output_table_name").execute...

开发ODPS Spark任务

其中:spark.hadoop.odps.access.id、spark.hadoop.odps.access.key 和 spark.hadoop.odps.end.point 无需配置,默认为MaxCompute项目的值(有特殊原因可显式配置,将覆盖默认值)。您无需上传 spark-defaults.conf 文件,而是需将 spark-...

ODPS-0420095

错误2:You have no privilege 'odps:<Action>' on {acs:odps:*:projects/<project_name>} 错误信息(示例)ODPS-0420095:Access Denied-You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev} 错误码描述...

快速入门

本文以开发WordCount MapReduce作业为例,为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包,并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件:已安装并配置MaxCompute客户端。更多安装并配置...

RAM权限策略管理

{"Version":"1","Statement":[{"Effect":"Allow","Action":["odps:CreateProject","odps:DeleteProject","odps:UpdateProjectDefaultQuota"],"Resource":"*"}]} 支持MaxCompute Quota对象管理权限策略。{"Version":"1","Statement":[{...

Tablestore外部表

SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_external WHERE odps_orderkey>5000 AND odps_orderkey< 7000 ANDodps_orderdate>='1996-05-03' AND odps_orderdate< '1997-05-01' GROUP BYodps_...

开源支持

ODPS JDBC是MaxCompute官方提供的JDBC驱动,它向Java程序提供了一套执行SQL任务的接口。项目托管在GitHub ODPS JDBC。服务支持方式:在GitHub ODPS JDBC 中留言或新建Issue。Mars Mars是一个基于张量的统一分布式计算框架。使用Mars进行...

StarRocks Connector

catalog PROPERTIES("type"="odps","odps.access.id"="LTAI5tRzd4W8cTyLZKT*","odps.access.key"="gJwKaF3hK9MDAQgbO0zsHCz*","odps.endpoint"="http://service.cn-beijing.maxcompute.aliyun.com/api","odps.tunnel.quota"="pay-as-you-go...

常见问题

创建MaxCompute项目 创建MaxCompute项目时,报错ODPS-0410051,如何解决?新建RAM用户 新建RAM用户无法访问MaxCompute,如何解决?准备环境及安装工具 使用MaxCompute客户端连接服务时,报错ODPS-0410031,如何解决?MaxCompute Studio支持...

ODPS-0123031

错误码:ODPS-0123031:ODPS partition exception 错误1:maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...

开发ODPS MR任务

您可以通过创建ODPS MR类型节点并提交任务调度,使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源,详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点,详情请参见 创建并管理...

运行模式

cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class com.aliyun.odps.spark.examples.SparkPi \ /path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar DataWorks执行模式 您可以在DataWorks中...

授权信息

云原生大数据计算服务 MaxComputeMaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式,其通用结构如下:{"Version":"1","Statement":[{"Effect":"<Effect>","Action":...

用户规划与管理

MaxCompute项目需要多人维护时,非项目所有者(Project Owner)的用户必须被加入MaxCompute项目中,且被授予相应的权限,才能操作MaxCompute中的表、资源、函数或作业(实例)。本文为您介绍MaxCompute支持的用户管理操作。背景信息 创建...

使用本地客户端(odpscmd)连接

解决方法:请您登录 MaxCompute控制台,在 工作区>项目管理 页面获取已创建正确的MaxCompute项目名称后,修改 odps_config.ini 配置文件。报错:Accessing project '<projectname>' failed:ODPS-0420095:Access Denied-Authorization ...

常见问题

MaxCompute项目打开2.0新数据类型开关(odps.sql.type.system.odps2=true)时,存在隐式转换被禁用的风险,您可以关闭2.0新数据类型开关(odps.sql.type.system.odps2=false)。在MaxCompute中创建表的方式有哪些?您可以通过如下方式...

SET

odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数,优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.mem 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit,会限制Limit作用的Worker单并发运行。因此在...

MapReduce常见问题

执行MaxCompute MapReduce时,报错ODPS-0010000,如何解决?执行MaxCompute MapReduce时,报错Table not found,如何解决?执行MaxCompute MapReduce时,报错ODPS-0123144,如何解决?执行MaxCompute MapReduce时,报错java.security....

编写Graph

说明 本示例将部署到MaxCompute项目的JAR包命名为odps-graph-example-sssp.jar。在MaxCompute客户端,执行如下命令运行SSSP。jar-libjars odps-graph-example-sssp.jar-classpath<LOCAL_JAR_PATH>/odps-graph-example-sssp.jar SSSP 1 sssp...

搭建Windows开发环境

本文为您介绍如何在Windows操作系统下搭建MaxCompute Spark开发环境。...v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper spark.hadoop.odps.cupid.webproxy.endpoint=...

错误码概述

MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息,帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。错误码格式 MaxCompute错误码编码规则如下。错误编号:通用描述-上下文...

Java SDK常见问题

例如,如果您需要使用MaxCompute 2.0数据类型,可以通过Session级别方式开启,在涉及2.0新数据类型的SQL前增加Set Flag语句 set odps.sql.type.system.odps2=true;使用Java SDK提交SQL时,不能简单地把Set Flag语句直接增加到SQL中,设置...

MaxCompute UDF(Java)常见问题

本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下:问题现象一:运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因:原因一...

UDF开发(Java)

MaxCompute提供的内建函数无法支撑您的业务实现时,您可以根据本文提供的开发流程,使用开发工具(例如IntelliJ IDEA(Maven)或 MaxCompute Studio)自行编写代码逻辑创建自定义函数(UDF),并在MaxCompute中进行调用,以满足多样化...

概述

MaxCompute Tunnel是MaxCompute的数据通道,您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口,不同版本的SDK在使用上有所差别,准确...

SQL错误码(ODPS-01CCCCX)

解决措施:您可以在 MaxCompute客户端,通过如下方式之一,开启2.0数据类型开关:Session级别:您需要在SQL语句前加上 set odps.sql.type.system.odps2=true;语句,与SQL语句一起提交执行。Project级别:项目所有者(Project Owner)可以...

准备工作

import os import maxframe.dataframe as md from odps import ODPS from maxframe import new_session#create MaxCompute entrance object and test table o=ODPS(os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),os.getenv('ALIBABA_CLOUD_...

将数据写入OSS

odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下:取值为False:MaxCompute写入到OSS外部表的数据,会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件,用于保证MaxCompute数据的...

Java SDK介绍

ODPS MaxCompute SDK的入口,您可通过此类来获取项目空间下的所有对象集合,包括 Projects、Tables、Resources、Functions、Instances。您可以通过传入AliyunAccount实例来构造MaxCompute对象。代码示例如下。阿里云账号AccessKey拥有所有...

SQL其他常见问题

在操作系统中,您可以通过Shell非交互式运行MaxCompute SQL:使用 odps-f filename 方式,读取并处理SQL文件。如果运行SQL,Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...
共有131条 < 1 2 3 4 ... 131 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
邮件推送 云原生大数据计算服务 MaxCompute 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用