ADD JAR

添加JAR类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令,仅支持在客户端(odpscmd)工具中...

Datastream JAR迁移

本文为您介绍如何将自建Flink集群上的Datastream JAR作业,迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包,包括 ...

Table/SQL JAR迁移至JAR

本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业,迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移,因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...

JAR作业开发

Flink JAR提供了更灵活的编程模型和API,可以自定义各种数据转换、操作和算子,适用于复杂的业务逻辑和数据处理需求。本文为您介绍Flink JAR作业的开发方法和调试方法。背景信息 Flink Datastream提供了阿里云Flink全托管产品的底层API调用...

JAR作业开发实践

本文介绍Lindorm计算引擎JAR作业开发的详细步骤。前提条件 已创建并开通Lindorm实例的宽表引擎,具体操作请参见 创建实例。已开通Lindorm实例的计算引擎服务,具体操作请参见 开通与变配。已安装Java环境,要求使用JDK 1.8及以上版本。步骤...

Flink JAR作业快速入门

本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动,以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见 权限管理。已创建Flink工作空间...

JAR包如何添加参数?

本文介绍使用SAE时,如何为JAR包添加参数。如果您遇到如下问题,均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数,请参见 启动命令和参数。如果您的程序是Java微服务应用,需要在SAE侧...

质量校验函数jar包源代码

在创建质量校验函数时,请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具,生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...

Table/SQL JAR迁移至SQL

本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL,因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...

Dataphin中上传资源jar包存放位置

概述 Dataphin中上传的资源JAR包是直接上传到HDFS,还是先上传到Dataphin的机器上再同步到HDFS?详细信息 如果用户在上传资源的时候选择计算源,就会上传到HDFS上。如果用户没有选,就不会。默认是上传到OSS/Ceph集群,如果用户选择了计算...

如何手动升级 SOFABoot 管理的第三方 JAR

在使用商业版 SOFABoot 时,可能会因为安全、性能、功能增强等原因而期望升级第三方 JAR。如果在临近的高版本 SOFABoot 中有满足需求的第三方 JAR,可以考虑升级 SOFABoot 来解决问题。但如果暂时没有满足需求的 SOFABoot 版本,或需要升级...

新建SPARK_JAR_ON_HIVE任务

背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建,因此您在资源管理中先上传JAR和PYTHON文件,然后在SPARK_JAR_ON_HIVE任务中引用。具体操作,请参见 上传资源及引用 前提条件 计算引擎中已开启Spark任务,如何开启...

在SAE控制台使用JAR文件部署微服务应用

本文以两个简单的示例JAR文件分别表示微服务的提供者和消费者。提供者提供简单的Echo服务,会返回消费者输入的消息。本文介绍在 SAE 控制台部署微服务应用的操作步骤及验证方式。前提条件 创建命名空间 创建VPC 操作步骤 部署提供者微服务...

新建SPARK_JAR_ON_MAX_COMPUTE任务

背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建,因此您在资源管理中先上传JAR和PYTHON文件,然后在SPARK_JAR_ON_MAX_COMPUTE任务中引用。具体操作,请参见 上传资源及引用。前提条件 计算引擎中已开启Spark...

新建SPARK_JAR_ON_MAX_COMPUTE任务

背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建,因此您在资源管理中先上传JAR和PYTHON文件,然后在SPARK_JAR_ON_MAX_COMPUTE任务中引用。具体操作,请参见 上传资源及引用。前提条件 计算引擎中已开启Spark...

Dataphin中代码任务运行jar包报错“Java heap space”

问题描述 代码任务中运行JAR包报错“Java heap space”,本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer.<init>(CharArrayBuffer.java:56)at org.apache....

Dataphin中Shell运行JAR文件报错“bash:java:command ...

问题描述 Dataphin中Shell运行Jar文件报错“bash:java:command not found”。问题原因 1.代码打成Jar包的时候,需要Jar包名称和main方法所在类名称保持一致;上传资源文件的时候,名称需要和Jar文件名称保持一致:2.需要注意java-jar命令是...

Dataphin执行Spark_jar_on_hive任务变量拼接有空格

问题描述 新建Spark_jar_on_hive任务,执行结果中任务变量拼接由空格。问题原因 这个是sparkJarOnHiveOperator,解析逻辑是split后拼接成spark-submit命令,但是这个用户是在写Shell,如果是Shell的话,需要使用ShellOperator。解决方案 ...

在容器服务K8s集群中使用JAR包或WAR包部署应用

本教程介绍如何在容器服务K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在容器服务K8s集群中部署应用,您需在容器服务Kubernetes版控制台中创建容器服务Kubernetes版集群,并将该集群导入到EDAS控制台,然后在导入的容器服务K...

Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS...

概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么?介绍如下:所有用户上传的资源JAR包,以及安全包的资源,都是默认放在/tmp/dataphin...

Dataphin中创建的SPARK_JAR_ON_MAX_COMPUTE任务报错...

问题描述 本文主要描述了Dataphin中创建的SPARK_JAR_ON_MAX_COMPUTE任务报错“Unable to connect to '192.168.1.72:22' with user 'root':Authentication failed.”的解决方法。正在提交.提交任务成功!2022-09-23 17:24:55 Taskrun ...

在Serverless K8s集群中使用JAR包或WAR包部署应用

本教程介绍如何在Serverless K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在Serverless K8s集群中部署应用,您需在容器服务Kubernetes版控制台中创建Serverless K8s集群,并将该集群导入到EDAS控制台,然后在导入的...

使用API在K8s集群中创建Java应用(JAR包或WAR包)

本文介绍如何使用EDAS提供的Java SDK调用API在K8s集群中创建Java应用(JAR包或WAR包)。前提条件 调用API创建应用前,您必须提前完成以下准备工作:安装EDAS的Java SDK。更多信息,请参见 Java SDK接入指南。确定应用部署地域。创建微服务...

如何修改应用部署方式,例如将JAR包部署改为镜像部署...

应用创建成功后,不支持修改部署方式。您需要重新创建应用。

JarArtifact

名称 类型 描述 示例值 object 本数据结构代表 JAR 类型作业必填的信息。jarUri string JAR 作业 URL 全路径。https://oss/bucket/test.jar entryClass string 启动类,需要填写类的全称。org.apapche.flink.test mainArgs string 启动类所...

MapReduce作业提交

jar-conf odps-mapred.xml-resources a.txt,test_table,work.jar-classpath data\work.jar:otherlib.jar-D import.filename=resource.txt org.alidata.odps.mr.examples.WordCount args;resources<resource_name_list>:MapReduce作业运行...

Maven开发常见问题

本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包,请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如:<dependency><groupId>...

安装

本文为您介绍了安装Java SDK添加Jar包依赖的示例代码。环境准备 适用于JDK 6及以上版本。安装SDK 说明 本文以安装V1.0版本的SDK为例进行说明,如需安装V2.0版本的SDK,请参考阿里云OpenAPI门户上的安装指导,更多信息,请参见 视频点播SDK...

创建并使用MaxCompute资源

JAR:编译好的Java JAR包,用于运行Java程序。Archive:通过资源名称中的后缀识别该资源为哪种压缩类型。目前支持的压缩文件类型包括.zip、.tgz、.tar.gz、.tar 和.jar。File:File资源仅支持.zip、.so 和.jar 类型。说明 新建File类型资源...

创建并使用MaxCompute资源

可视化直接创建 JAR 编译好的Java JAR包,用于运行Java程序。后缀为.jar。可视化上传本地资源 可视化上传OSS资源 Archive 仅支持将.zip、.tgz、.tar.gz、.tar、.jar 等压缩文件上传为资源,通过资源名称的后缀区分压缩类型。可视化上传本地...

Custom Runtime支持ARMS应用监控扩展

启动应用程序 echo"params:${params}"exec java$params \-Dserver.port=9000 \-jar/code/target/demo-0.0.1-SNAPSHOT.jar 示例代码解析如下。设置ARMS应用名称。默认为 FC:{ServiceName}.{FunctionName}。添加ARMS参数。javaagent:ARMS...

UDF(地理空间)

本文为您介绍如何使用开源地理空间UDF分析空间数据。前提条件 请确认您已完成以下操作:已安装Git。已安装Maven并设置环境变量。已安装MaxCompute客户端。...wget '...../esri-geometry-api.jar 下载已编译好的JAR包...

LIST FUNCTIONS

查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....

配置扩展文件

5.1.47.jar mysql-connector-java-5.1.48.jar mysql-connector-java-5.1.9.jar mysql-connector-java-6.0.2.jar mysql-connector-java-6.0.6.jar mysql-connector-java-8.0.11.jar mysql-connector-java-8.0.17.jar mysql-connector-java-8...

函数操作

Name my_lower Owner ALIYUN$Created Time 2020-06-18 15:50:19 Class org.alidata.odps.udf.examples.Lower Resources project_name/my_lower.jar 查看自定义函数列表 查看MaxCompute项目中所有自定义函数。命令格式。以下两种命令格式...

EMR Gateway升级EMRHOOK组件

hook-hive23.jar hive-hook-1.1.4-hive23.jar mv hive-hook-hive31.jar hive-hook-1.1.4-hive31.jar mv spark-hook-spark24.jar spark-hook-1.1.4-spark24.jar mv spark-hook-spark30.jar spark-hook-1.1.4-spark30.jar iii).修改完成后...

实例运行健康自检指南

PLAIN机制 java-jar KafkaChecker.jar pull-sm PLAIN-ss true-u username-psw password-s 接入点域名:9093-topic Topic名称-group Group名称-partition 0-offset 0-count 10 示例:java-jar KafkaChecker.jar pull-sm PLAIN-ss true-u test...

应用大盘

java-Dproject.name=karl-8084-Dserver.port=8084-Drequest.port=none-Drequest.interface=hello-Dahas.license=6523c21873cc41d5bexxxxxxxxxxde6-Dahas.regionId=cn-shenzhen -javaagent:ahas-java-agent.jar-jar karl-demo.jar&java-...

快速入门

本文以开发WordCount MapReduce作业为例,为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包,并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件:已安装并配置MaxCompute客户端。更多安装并配置...
共有43条 < 1 2 3 4 ... 43 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数字证书管理服务(原SSL证书) 阿里邮箱 商标服务 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用