动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
Spark作业异常排查及处理
Spark作业出现java.lang.ClassNotFoundException 根据Class的信息找到对应的JAR包，并通过以下方案处理：方案1：提交Spark任务时，使用-jars 把JAR包提交上去。方案2：使用 spark.driver.extraclasspath 和 spark.executor.extraclasspath ...
Spark
您可以把JAR包放在OSS上，也可以放在目标EMR集群的HDFS上。建议您放在OSS上，以便于您的JAR包可以被多个EMR集群共享，即使切换集群也不用更改配置。如下图示例，段落①使用%spark.conf 指定OSS上的JAR，这个JAR里写了一个Java UDF，段落②...
Spark常见问题
如何把JAR包当成资源来引用？如何通过Spark传入参数？如何将Spark流式读取的DataHub数据写入MaxCompute？如何将开源Spark代码迁移至MaxCompute Spark？如何通过Spark处理MaxCompute中的表数据？如何设置Spark资源并行度？如何解决内存不足...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
OCS与数据库结合使用示例
缓存与数据库相结合使用，是常见的一种应用搭配场景。本文以简单的Java例子，介绍OCS搭配MySQL数据库使用。在程序中添加MySQL数据库的连接信息：/JDBC driver name and database URL static final String JDBC_DRIVER=...
跨境SaaS:深圳市易仓科技有限公司
把数据库 db1 切换到RW2上：ALTER DATABASE db1 POLARDB_WRITE_NODE 2;通过简单SQL可以实现秒级迁移租户从RW1到RW2，完美解决易仓跨境SaaS在租户版本升降、合并、打散场，租户跨实例迁移的效率问题，大幅降低运维的工作量 价值4：按需添加...
pg_dump
示例 执行以下命令，将名称为 mydb 的数据库备份到SQL脚本文件中：pg_dump mydb>db.sql 执行以下命令，将SQL脚本重新加载到名称为 newdb 的（新创建的）数据库中：psql-d newdb-f db.sql 执行以下命令，将数据库备份到自定义格式的存档文件...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
检查和修改 Oracle 实例的系统配置 您需要进行下述操作：在源端 Oracle 数据库开启归档模式 在源端 Oracle 数据库开启补偿日志（可选）设置 Oracle 数据库的系统参数 在源端 Oracle 数据库开启归档模式 SELECT log_mode FROM v$database;...
恢复下载后的备份数据
您可以参考本文将下载的备份数据恢复到数据库实例中。前提条件 已下载备份数据。更多详情，请参见 手动下载备份集 或 配置自动下载备份集。在待恢复的服务器上部署对应的数据库服务。例如在恢复MySQL数据库前，需要在服务器上安装好对应...
混合云备份HBR
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他...
测试方法
在后续测试过程中，DLA Spark需要使用这个Jar包来生成Terasort测试数据以及进行Terasort基准测试，因此需要把该Jar包上传到您的OSS上。操作步骤 场景一：1 TB测试数据下DLA Spark+OSS与自建Hadoop+Spark集群性能对比 准备测试数据 在OSS上...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
JAR包如何添加参数？
本文介绍使用SAE时，如何为JAR包添加参数。如果您遇到如下问题，均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数，请参见 启动命令和参数。如果您的程序是Java微服务应用，需要在SAE侧...
Spark SQL开发介绍
AnalyticDB MySQL版 Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍 AnalyticDB MySQL版 Spark ...例如查询语句SELECT、插入语句INSERT、查看数据库SHOW DATABASE等。
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作...数据库实时入仓完整的操作流程示例，请参见 数据库实时入仓快速入门。基于Flink+Hologres搭建实时数仓。基于Flink+Paimon搭建流式湖仓。
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
应用身份识别
操作完成后，数据库审计系统会根据您的配置自动生成JAR包。单击应用身份识别配置 操作 列的 下载，下载生成的JAR包。操作完成后，应用身份识别的JAR包会被保存在您浏览器的默认下载路径下。单击 下载说明文档 并选择您需要的中间件类型，...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
数据源支持概述
无 有 无 支持数据源的方式 Spark SQL支持数据源的方式包括以下两种：命令行方式 下载预编译好的 数据源JAR包。您只需要使用该JAR包，就可以完成Loghub、TableStore、HBase、JDBC和Redis数据源的实现以及相关的依赖包。Kafka和Druid数据源...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
访问MongoDB数据源
操作步骤 下载 AnalyticDB MySQL版 Spark访问云数据库MongoDB依赖的Jar包。下载链接 mongo-spark-connector_2.12-10.1.1.jar、mongodb-driver-sync-4.8.2.jar、bson-4.8.2.jar、bson-record-codec-4.8.2.jar 和 mongodb-driver-core-4.8.2....
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
质量校验函数jar包源代码
在创建质量校验函数时，请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具，生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
快速入门视频
构建.jar包命令：mvn install-Dmaven.test.skip=true Dockerfile文件内容：FROM maven:3.5-jdk-8 COPY target/iot-demo-0.0.1-SNAPSHOT.jar/iot-demo.jar EXPOSE 8080 ENTRYPOINT["/bin/bash","-c","java-jar/iot-demo.jar-server.port=...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
2021-01-11版本
说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay-Based 策略支持Kafka。增加Connector ...
DescribePropertyScaDetail-查询资产指纹调查中间件...
可选以下取值：system_service：系统服务 software_library：软件库 docker_component：容器组件 database：数据库 web_container：Web 容器 jar：Jar 包 web_framework：Web 框架 说明 SearchItem 和 SearchInfo 这两个参数配合使用，通过...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
准备工作
您可以通过以下两种方式获取 JAR 包：直接下载示例 JAR 包 下载 Web 工程 JAR 包。下载 Core 工程 JAR 包。使用本地工程获取 JAR 包 搭建本地环境。操作步骤，请参见 搭建环境。生成示例工程。可以通过以下两种方式生成可运行的 Demo 工程...
Notebook
jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号分隔。Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：...
配置SSL证书并开启HTTPS安全访问
绑定SSL到JAR包部署的应用 如需为使用JAR包直接部署的应用绑定SSL，首先需要修改 application.properties 文件开启SSL配置，然后将证书文件一同打包在JAR包中，使用JAR包部署应用，最后进入 应用设置 页面修改应用的Tomcat的应用端口为8443...
02创建质量校验函数并物理化
已准备好质量校验函数jar包，具体操作，请参见 质量校验函数jar包源代码。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，选择>字段标准设计。将鼠标悬停至 质量...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
如何手动升级 SOFABoot 管理的第三方 JAR
SOFABoot 遵从 SpringBoot 的包管理规范，采用 Maven 的 dependencyManagement 进行 JAR 包版本管理，对主要的第三方 JAR 都抽取了 Properties。Maven 支持子 pom 覆盖父 pom 的 Properties，可以使用此方式来按需自定义第三方 JAR 的版本...
- 产品推荐
- 这些文档可能帮助您