安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Spark SQL开发介绍
ADD JAR命令 用于加载Spark SQL运行时依赖的JAR包，例如UDF的JAR包，各类数据源连接器的JAR包等。目前支持JAR包路径为OSS路径，一般置于SQL语句的前面。每条 ADD JAR 命令指定一个OSS JAR包路径，JAR包路径的字符串不添加单引号和双引号，...
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
2021-01-11版本
通过VVP上传的JAR包大小限制提高至200 MB。说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay...
资源
概念 资源（Resource）是MaxCompute的特有概念，如果您想使用MaxCompute的 自定义函数（UDF）或 MapReduce 功能，需要依赖资源来完成，如下所示：SQL UDF：您编写UDF后，需要将编译好的JAR包以资源的形式上传到MaxCompute。运行此UDF时，...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
自定义函数（UDF）
mvn clean package-DskipTests target 目录下会出现 hiveudf-1.0-SNAPSHOT.jar 的JAR包，即代表完成了UDF开发工作。使用UDF 使用文件传输工具，上传生成的JAR包至集群root目录。本示例使用了文件传输工具（SSH Secure File Transfer Client...
快速入门
步骤三：运行MapReduce作业 基于上传至MaxCompute项目的JAR包，使用 jar 命令运行MapReduce作业。步骤一：开发MapReduce程序 创建MaxCompute Java Module。启动IntelliJ IDEA，在顶部菜单栏，单击 File>New>Module.在 New Module 对话框...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
Notebook
Q:如何配置依赖（jars,python packages）通过设置spark.jars 来设置依赖的jar包。jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号...
如何手动升级 SOFABoot 管理的第三方 JAR
在 sofaboot-enterprise-dependencies 的 pom 文件中搜索要替换的 JAR 包名称，例如 fastjson。如果其 version 处采用 placeholder 格式引用了 properties，可以参考本文方法，修改其版本。如果想替换开源版 SOFABoot 或 Spring Boot 管理...
02创建质量校验函数并物理化
新建函数配置项如下：函数名称 函数Code 函数类型 手机号码校验 sjhmjy MaxCompute 在 新增资源 面板，填写资源名称和资源Code、选择资源类型，单击 上传资源文件，选择已保存在本地的jar包，单击 确定。新建资源配置项如下：资源名称 资源...
Dataphin创建Java函数步骤
选择资源：选择刚刚上传提交的Jar包。类名：此处并不是单一的类名，是包名.类名。类型：目前注册函数，不需要此配置，可以随便选择。命令格式：调用格式，建议使用函数名（UDF代码的参数）使用文档：使用说明。5.使用刚刚注册的函数，参数...
Java线程栈分析-CPU利用率持续升高
分析结论 所以我们可以更进一步得知，只有一个线程在执行高频的jar包遍历寻找类操作。根据这个猜测的结论，只要类找到，或者说反序列化结束，CPU利用率就应该会下降。和业务同学反馈后得知，序列化在持续进行。这也顺便验证了我们的猜测，...
UDF示例：兼容Hive
假设Hive UDF对应的JAR包名称为test.jar。操作步骤 安装并登录MaxCompute客户端。将 Hive UDF代码示例 通过Hive平台编译为JAR包，执行如下命令将Hive UDF JAR包添加为MaxCompute资源。添加资源。add jar test.jar;更多添加资源信息，请参见...
DataStream连接器设置方法
Flink全托管产品提供的连接器官方JAR包的下载地址，请参见 Connector列表。在目标作业开发页面 附加依赖文件 项，选择目标连接器的JAR包。直接将连接器作为项目依赖打进作业JAR包 步骤一：准备DataStream作业开发环境 在Maven项目的pom.xml...
Elasticsearch
您需要分别替换 file 和 jars 中的JAR包为您自己测试代码和从官方下载的JAR包名称。{"name":"es","className":"com.aliyun.spark.ReadES","conf":{"spark.driver.resourceSpec":"medium","spark.executor.instances":5,"spark.executor....
Java UDF最佳实践
背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package org.alidata.odps.udf....
Java UDF最佳实践
背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package org.alidata.odps.udf...
动态加载UDF
操作流程 步骤一：环境准备 步骤二：增加UDF 步骤三：删除UDF 步骤一：环境准备 将UDF对应的JAR包文件放在对应的文件系统中。目前UDF文件支持以下两种方式：方式一：将UDF的全部内容打成一个JAR包（例如，udfjar.jar），上传到文件系统中。...
Datastream JAR迁移
配置项 说明 JAR URI 上传刚编译好的JAR包或者填写对应的JAR信息。Entry Point Class 指定主类名为 com.alibaba.realtimecompute.DataStreamJobKafka2Rds 。并行度 设置为2。附加依赖文件 上传已下载的 mysql-connector-java-8.0.27.jar 和...
编译过程中ut和app-monitor发生冲突
问题详述 编译时报下面的错误：Error:Execution failed for task':app:...解决方法 如发现有 monitor 和ut-5两个jar包，请删除monitor的jar包，或者发现monitor有重复，只留一个，如没能解决，请寻求钉钉群（35248489）中的技术支持解决。
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
Hive连接方式
重要 运行JAR包的服务器与E-MapReduce集群需要在同一个VPC和安全组下，并且网络可达。如果两者的VPC不同或网络环境不同，则需要通过公网地址访问，或先使用网络产品打通两者的网络，再通过内网访问。网络连通性测试方法：公网：telnet ...
Python作业开发
如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的JAR包依赖。作业开发 开发参考 您可以参见以下文档在本地完成Flink业务代码开发，开发完成后您需要将其上传到Flink开发控制台，并部署上线作业。Apache Flink V1.17业务代码...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
JAR作业开发
在 部署作业 页面 附加依赖文件 项，选择目标连接器的JAR包。直接将连接器作为项目依赖打进作业JAR包 准备DataStream作业开发环境 在Maven项目的pom.xml文件中添加以下配置以引用SNAPSHOT仓库。repository><id>oss.sonatype...
常见问题
MapReduce：您编写MapReduce程序后，需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR包，获取您的代码。您同样可以将文本文件以及MaxCompute中的表作为不同类型的资源上传到...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
使用控制台金丝雀发布应用（K8s）
上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包地址/WAR包地址：输入Demo包地址。适用于JAR包和WAR包部署的应用 构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、EDAS-container（HSF）三种应用...
将HSF应用托管到SAE
应用程序编译为可运行的JAR包并部署即可。操作步骤 开发应用。方法一：下载Demo工程。microservice-doc-demo项目内包含了众多示例工程，本文以其中通过Ali-Tomcat方式开发的HSF应用为例。具体信息，请参见 hsf-ali-tomcat。方法二：本地...
Flink
因为使用此方式前提是这个UDF对应的JAR包必须要在CLASSPATH里，所以您需要先配置 flink.execution.jars，把这个UDF的JAR包放到CLASSPATH里。flink.execution.jars/Users/jzhang/github/flink-udf/target/flink-udf-1.0-SNAPSHOT.jar 使用 ...
常见问题
如果没有Jindo相关的JAR包，您可以在集群中运行以下命令将Jindo相关的JAR包，拷贝到$FLINK_HOME/lib 目录后重新提交作业。cp/opt/apps/extra-jars/flink/jindo-flink-*-full.jar$FLINK_HOME/lib EMR-3.40之后版本：优化了支持的方式，即使$...
应用身份识别
B/S应用身份识别 您需要配置B/S应用身份识别规则，并将生成的JAR包上传到您的应用服务器中，才能使用B/S应用身份识别功能。使用限制 Web应用必须是Java语言开发的应用，不支持PHP或者.NET开发的应用。支持的数据连接源：DBCP、C3P0、Driud...
开发后端逻辑流操作代码
此工程是一个多模块的项目，其中已经生成了 custom-action-core 模块，工程结构如下：libs目录：存放了core模块所依赖的jar包，默认有三个jar包。custom-action-api-1.0.0-SNAPSHOT-sources.jar：此jar包为 custom-action-api 模块的源码，...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
- 产品推荐
- 这些文档可能帮助您