Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
Spark SQL开发介绍
AnalyticDB MySQL版 Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍 AnalyticDB MySQL版 Spark SQL应用的示例代码及命令类型。开发工具 您可以通过SQL开发编辑器创建...
资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
快速入门视频
本文通过视频演示介绍从应用打包到应用发布的整个流程。同时提供演示视频中使用的...iot-demo.jar：构建到镜像中的jar包的存储路径和名称。EXPOSE 8080：用于指定Web应用对外的访问端口为8080。镜像构建命令：docker build-t demo/helloiot.
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
2021-01-11版本
说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay-Based 策略支持Kafka。增加Connector ...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
配置SSL证书并开启HTTPS安全访问
绑定SSL到JAR包部署的应用 如需为使用JAR包直接部署的应用绑定SSL，首先需要修改 application.properties 文件开启SSL配置，然后将证书文件一同打包在JAR包中，使用JAR包部署应用，最后进入 应用设置 页面修改应用的Tomcat的应用端口为8443...
快速入门
classpath mapreduce-1.0-SNAPSHOT.jar：classpath 指定MainClass所在JAR包的本地路径。com.aliyun.odps.mapred.open.example.WordCount ：MapReduce程序中定义的MainClass。wc_in wc_out：输入表和输出表。更多 jar 命令信息，请参见 语法...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
Notebook
jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号分隔。Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：...
02创建质量校验函数并物理化
已准备好质量校验函数jar包，具体操作，请参见 质量校验函数jar包源代码。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，选择>字段标准设计。将鼠标悬停至 质量...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
Dataphin创建Java函数步骤
2.编写代码并达成Jar包。例如下图：3.上传Jar包。类型：选择对应的包类型，此处选择jar。名称：XXX.jar，此处的名称可以随便定义，但是为了后续使用以及管理，增加易读性，建议打包的包名，名称都保持和类名一致。描述：可以写此资源作用。...
Java UDF最佳实践
您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF {...
Java UDF最佳实践
本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF { public String evaluate(String s){ if(s=null){ return null;} return s.toLowerCase();} ...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
编译过程中ut和app-monitor发生冲突
问题详述 编译时报下面的错误：Error:Execution failed for task':app:...解决方法 如发现有 monitor 和ut-5两个jar包，请删除monitor的jar包，或者发现monitor有重复，只留一个，如没能解决，请寻求钉钉群（35248489）中的技术支持解决。
动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
常见问题
上传JAR包的过程就是在MaxCompute上创建资源的过程，JAR包是MaxCompute的一种资源。MapReduce：您编写MapReduce程序后，需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR包，获取您...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
DataStream连接器设置方法
Flink全托管产品提供的连接器官方JAR包的下载地址，请参见 Connector列表。在目标作业开发页面 附加依赖文件 项，选择目标连接器的JAR包。直接将连接器作为项目依赖打进作业JAR包 步骤一：准备DataStream作业开发环境 在Maven项目的pom.xml...
Hive连接方式
重要 运行JAR包的服务器与E-MapReduce集群需要在同一个VPC和安全组下，并且网络可达。如果两者的VPC不同或网络环境不同，则需要通过公网地址访问，或先使用网络产品打通两者的网络，再通过内网访问。网络连通性测试方法：公网：telnet ...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
Elasticsearch
使用Java连接Elasticsearch 从Maven官方仓库下载Elasticsearch-spark-20_2.11对应版本的JAR包，本示例下载JAR包为Elasticsearch-spark-20_2.11-6.3.2.jar。将从官方仓库下载的JAR包上传到一个与Elasticsearch同地域的OSS中，如何上传请参见...
Datastream JAR迁移
附加依赖文件 上传已下载的 mysql-connector-java-8.0.27.jar 和 flink-connector-jdbc_2.11-1.13.0.jar 两个JAR包。在 高级配置 页签，配置JM和TM的资源量。单击 保存。在页面右上角，单击 上线，将作业提交至集群。在 作业运维 页面，...
将HSF应用托管到SAE
应用程序编译为可运行的JAR包并部署即可。操作步骤 开发应用。方法一：下载Demo工程。microservice-doc-demo项目内包含了众多示例工程，本文以其中通过Ali-Tomcat方式开发的HSF应用为例。具体信息，请参见 hsf-ali-tomcat。方法二：本地...
开发后端逻辑流操作代码
此工程是一个多模块的项目，其中已经生成了 custom-action-core 模块，工程结构如下：libs目录：存放了core模块所依赖的jar包，默认有三个jar包。custom-action-api-1.0.0-SNAPSHOT-sources.jar：此jar包为 custom-action-api 模块的源码，...
模拟IDC Spark读写MaxCompute实践
scp-r[本服务器存放jar包路径]root@ecs实例私网IP:[接收的服务器存放jar包地址]运行代码。运行模式。Local模式。使用Local模式运行的命令语法如下。bin/spark-submit \-master local \-jars${project.dir}/spark-datasource-v3.1/target/...
Python作业开发
Flink运行环境使用的是JDK1.8，如果Python作业中依赖第三方JAR包，请确保JAR包兼容JDK1.8。VVR 4.x仅支持开源Scala V2.11版本，VVR 6.x及以上版本仅支持开源Scala V2.12版本。如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的...
测试方法
true"],"file":"<Jar包的OSS路径>",#上文中您Jar包上传的OSS路径，例如oss:/test/performance/dla-spark-perf.jar。name":"TeraGen-1T","className":"com.aliyun.dla.perf.terasort.TeraGen","conf":{"spark.dla.connectors":"oss",...
应用身份识别
B/S应用身份识别 您需要配置B/S应用身份识别规则，并将生成的JAR包上传到您的应用服务器中，才能使用B/S应用身份识别功能。使用限制 Web应用必须是Java语言开发的应用，不支持PHP或者.NET开发的应用。支持的数据连接源：DBCP、C3P0、Driud...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
- 产品推荐
- 这些文档可能帮助您