快速使用EMR on ACK
如果您使用的是自己的JAR包，您可以将其上传到阿里云OSS。上传操作请参见 简单上传。此时，需要您修改命令中的 local:/opt/spark/examples/spark-examples.jar 为您OSS上存放JAR包的真实路径，路径格式为 oss:/<yourBucketName>/<path>.jar...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
JAR包如何添加参数？
本文介绍使用SAE时，如何为JAR包添加参数。如果您遇到如下问题，均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数，请参见 启动命令和参数。如果您的程序是Java微服务应用，需要在SAE侧...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
Spark SQL开发介绍
AnalyticDB MySQL版 Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍 AnalyticDB MySQL版 Spark SQL应用的示例代码及命令类型。开发工具 您可以通过SQL开发编辑器创建...
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
快速入门视频
构建.jar包命令：mvn install-Dmaven.test.skip=true Dockerfile文件内容：FROM maven:3.5-jdk-8 COPY target/iot-demo-0.0.1-SNAPSHOT.jar/iot-demo.jar EXPOSE 8080 ENTRYPOINT["/bin/bash","-c","java-jar/iot-demo.jar-server.port=...
质量校验函数jar包源代码
在创建质量校验函数时，请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具，生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
如何手动升级 SOFABoot 管理的第三方 JAR
SOFABoot 遵从 SpringBoot 的包管理规范，采用 Maven 的 dependencyManagement 进行 JAR 包版本管理，对主要的第三方 JAR 都抽取了 Properties。Maven 支持子 pom 覆盖父 pom 的 Properties，可以使用此方式来按需自定义第三方 JAR 的版本...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package ...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
推送到阿里短信
消息服务MNS 支持把发布到主题的消息推送到阿里短信服务。本文介绍如何将消息推送到短信。前提条件 开通短信服务。更多信息，请参见 开通短信服务。申请短信签名和短信模板。更多信息，请参见 使用须知。步骤一：创建主题 操作步骤 登录 ...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
Datastream JAR迁移
附加依赖文件 上传已下载的 mysql-connector-java-8.0.27.jar 和 flink-connector-jdbc_2.11-1.13.0.jar 两个JAR包。在 高级配置 页签，配置JM和TM的资源量。单击 保存。在页面右上角，单击 上线，将作业提交至集群。在 作业运维 页面，...
Python作业开发
Flink运行环境使用的是JDK1.8，如果Python作业中依赖第三方JAR包，请确保JAR包兼容JDK1.8。VVR 4.x仅支持开源Scala V2.11版本，VVR 6.x及以上版本仅支持开源Scala V2.12版本。如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的...
Dataphin中上传资源jar包存放位置
概述 Dataphin中上传的资源JAR包是直接上传到HDFS，还是先上传到Dataphin的机器上再同步到HDFS？详细信息 如果用户在上传资源的时候选择计算源，就会上传到HDFS上。如果用户没有选，就不会。默认是上传到OSS/Ceph集群，如果用户选择了计算...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
创建和使用EMR资源
说明 目前您的任务JAR包仅支持如下两种存放路径：JAR包存放在EMR集群的Master机器中。JAR包存放在对象存储服务（Object Storage Service，OSS）中。推荐您使用OSS进行存放。使用OSS存放JAR包，详情请参见 控制台使用流程。文件来源 目标...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
开发和调试
内置Jar包 以下Jar包会默认加载到运行Graph程序的JVM中，您不必上传这些资源，也不必在命令行的-libjars 带上这些Jar包。commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api...
分布式部署
tar-zxvf ossimport-2.3.7.tar.gz-C$HOME/ossimport 解压后的文件结构如下：ossimport├─bin│├─console.jar#Console模块jar包│├─master.jar#Master模块jar包│├─tracker.jar#Tracker模块jar包│└─worker.jar#Worker模块jar包├...
在SAE控制台使用JAR文件部署微服务应用
文件上传方式 选择 上传JAR包 或 JAR包地址。上传JAR包：单击 选择文件，选择待部署的JAR文件。JAR包地址：输入JAR文件的存放地址。示例提供者JAR文件的地址如下：...
Dataphin中代码任务运行jar包报错“Java heap space”
问题描述 代码任务中运行JAR包报错“Java heap space”，本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer.<init>(CharArrayBuffer.java:56)at org.apache....
短信计费FAQ
您在使用短信服务时，遇到计费、套餐包等疑问时可以参考以下常见问题及解决方案。套餐包剩余资源支持退款吗？套餐包订单超过有效期不可退款，不可延期。已使用的套餐包不支持退款。未使用过，且在订单有效期内的短信套餐包，可以在控制台...
Spark
解决方法：您可以通过Spark的conf配置参数添加以下配置，在日志中打印类加载过程中涉及的JAR包，从而排查哪些JAR包与Spark冲突。然后通过Maven常见的冲突解决方式Provided和Relocation解决该报错。详情请参见 Conf配置参数。spark....
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
- 产品推荐
- 这些文档可能帮助您