资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
配置SSL证书并开启HTTPS安全访问
使用打包好的JAR包部署应用。具体操作，请参见 在ECS集群中创建并部署应用。登录 EDAS控制台。在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择地域，并在页面上方选择微服务空间，然后在 应用列表 页面单击具体的应用名称。在应用...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
YARN缺陷修复公告
登录EMR集群的Master节点，将下载好的JAR包放在Hadoop的软件安装目录下。本示例是在/usr/lib/hadoop-current/share/hadoop/yarn/目录。备份旧的JAR包，并将新包拷贝到相应位置。mv$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
模拟IDC Spark读写MaxCompute实践
在本地使用 scp 命令上传已经打包好的jar包和依赖的jar包至服务器，命令语法如下。scp<本地jar包路径>root@实例公网IP>:<服务器存放jar包路径>示例如下。scp D:\Project\emr_mc_1\spark-datasource-v3.1\target\spark-datasource-1.0-...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
导入应用
JAR包部署应用 上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入应用包地址。WAR包部署应用 上传WAR包：选择本地WAR包并上传。WAR包地址：输入应用包地址。WAR或者FatJar部署HSF应用 版本 请输入版本，您可以自定义版本号，也可以单击...
社区版CDC
说明 您也可以前往 Maven中央仓库 下载对应的JAR包。登录 实时计算控制台，并在左侧导航栏单击 数据连接。在 数据连接 页面，单击 创建自定义连接器，并上传第2步中下载的JAR文件。详情请参见 管理自定义连接器。编写SQL作业时，将社区版...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
在Serverless K8s集群中使用JAR包或WAR包部署应用
部署包来源 自定义程序 需选择 文件上传方式：上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入Demo包地址。官方Demo EDAS提供的Demo类型有 Spring Cloud服务端应用、Spring Cloud客户端应用、Dubbo服务端应用 和 Dubbo客户端应用，请...
在容器服务K8s集群中使用JAR包或WAR包部署应用
部署包来源 自定义程序 需选择 文件上传方式：上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入Demo包地址。官方Demo EDAS提供的Demo类型有 Spring Cloud服务端应用、Spring Cloud客户端应用、Dubbo服务端应用 和 Dubbo客户端应用，请...
创建有状态StatefulSet应用
部署包来源 自定义程序 需选择 文件上传方式：上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入Demo包地址。官方Demo EDAS提供的Demo类型有 Spring Cloud服务端应用、Spring Cloud客户端应用、Dubbo服务端应用 和 Dubbo客户端应用，请...
Java库管理
方式1：spark.jars 说明 spark.jars 可以用来指定 jar文件，多个jar包可以用逗号隔开，下图示例展示了使用spark.jars执行WordCount 打包可执行的WordCount案例 2.将打包好的jar上传到OSS或者HDFS 3.在NoteBook引入依赖%spark.conf spark....
准备工作
mvn clean package 您可以在根目录的 target 文件夹查看打包好的工程 JAR 包。容器服务发布 容器服务发布的对象是镜像，在容器服务发布之前，您需要准备好镜像。您可以通过以下两种方式准备镜像：下载示例镜像 蚂蚁金融科技提供一系列的...
可视化管理资源
jar：编译好的Java JAR包资源。py：Python脚本资源。archive：压缩包资源，支持的格式包括.zip、.tgz、.tar.gz、.tar和.jar。table：表资源。您可以将MaxCompute项目中的表添加为资源。Resource file 待添加的本地资源文件。仅当 Resource ...
Flink动态CEP快速入门
JAR URL 上传打包好的JAR包，或者直接上传我们提供的测试JAR包。Entry Point Class 填写为 com.alibaba.ververica.cep.demo.CepDemo 。Entry Point Main Arguments 如果您是自己开发的作业，已经配置了相关上下游存储的信息，则此处可以不...
数据源支持概述
无 有 无 支持数据源的方式 Spark SQL支持数据源的方式包括以下两种：命令行方式 下载预编译好的 数据源JAR包。您只需要使用该JAR包，就可以完成Loghub、TableStore、HBase、JDBC和Redis数据源的实现以及相关的依赖包。Kafka和Druid数据源...
版本说明
2.8.25 2019-08-14 Spring Cloud原生支持分离为独立的JAR包。支持EDAS多租户环境中使用GTS。2.8.19 2019-07-17 原生支持Spring Cloud（REST Template方式）。2.8.18 2019-06-26 原生支持Dubbo。2.0.72 2018-03-01 支持在公网环境下使用GTS...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
快速入门视频
本文通过视频演示介绍从应用打包到应用发布的整个流程。同时提供演示视频中使用的...iot-demo.jar：构建到镜像中的jar包的存储路径和名称。EXPOSE 8080：用于指定Web应用对外的访问端口为8080。镜像构建命令：docker build-t demo/helloiot.
2021-01-11版本
说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay-Based 策略支持Kafka。增加Connector ...
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
在ECI中访问HDFS数据
解压Apache Hadoop压缩包到指定文件夹。tar-zxvf hadoop-2.7.2.tar.gz-C/usr/local/修改core-site.xml配置文件。vim/usr/local/hadoop-2.7.2/etc/hadoop/core-site.xml 修改core-site.xml配置文件如下：?xml version="1.0"encoding="UTF-8?...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
Notebook
jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号分隔。Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：...
如何手动升级 SOFABoot 管理的第三方 JAR
SOFABoot 遵从 SpringBoot 的包管理规范，采用 Maven 的 dependencyManagement 进行 JAR 包版本管理，对主要的第三方 JAR 都抽取了 Properties。Maven 支持子 pom 覆盖父 pom 的 Properties，可以使用此方式来按需自定义第三方 JAR 的版本...
Sleep示例
测试准备 准备好测试程序的JAR包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好SleepJob的测试资源。add jar data\resources\mapreduce-examples.jar-f;测试步骤 在MaxCompute客户端中执行Sleep。jar-...
Java线程栈分析-CPU利用率持续升高
URLClassLoader里面有个ucp(URLClassPath)，它记录了当前URLClassLoader类加载器加载了哪些jar包，在类加载过程中，它会遍历所有jar包，然后逐个打开jar包并查找里面是否存在期望的类。再结合业务同学的反馈，大概有500多个jar包，所以根据...
Java UDF最佳实践
您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF {...
Java UDF最佳实践
本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF { public String evaluate(String s){ if(s=null){ return null;} return s.toLowerCase();} ...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
编译过程中ut和app-monitor发生冲突
问题详述 编译时报下面的错误：Error:Execution failed for task':app:...解决方法 如发现有 monitor 和ut-5两个jar包，请删除monitor的jar包，或者发现monitor有重复，只留一个，如没能解决，请寻求钉钉群（35248489）中的技术支持解决。
动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
Spark批式读写Iceberg
submit \-master yarn \-deploy-mode cluster \-driver-memory 1g \-executor-cores 1 \-executor-memory 1g \-num-executors 1 \-class com.aliyun.iceberg.IcebergTest \ iceberg-demos.jar 说明 iceberg-demos.jar 为您打包好的JAR包。...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
- 产品推荐
- 这些文档可能帮助您