如何手动升级 SOFABoot 管理的第三方 JAR
升级以前，需与 JAR 包发行方确认兼容性，避免出现兼容问题。查找第三方 JAR 版本控制 Key 的方法（以 idea 为例）：打开项目引用商业版 SOFABoot 的 pom 文件，找到 parent/artifactId 节点。按住 Ctrl 键，然后点击 sofaboot-enterprise-...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
泛化调用
相对于需要依赖业务客户端JAR包的正常调用，泛化调用不需要依赖二方包，使用其特定的GenericService接口，传入需要调用的方法名、方法签名和参数值进行调用服务。泛化调用适用于一些网关应用（没办法依赖所有服务的二方包），其中hsfops...
泛化调用
相对于需要依赖业务客户端JAR包的正常调用，泛化调用不需要依赖二方包，使用其特定的GenericService接口，传入需要调用的方法名、方法签名和参数值进行调用服务。泛化调用适用于一些网关应用（没办法依赖所有服务的二方包），其中hsfops...
简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
模拟IDC Spark读写MaxCompute实践
scp-r[本服务器存放jar包路径]root@ecs实例私网IP:[接收的服务器存放jar包地址]运行代码。运行模式。Local模式。使用Local模式运行的命令语法如下。bin/spark-submit \-master local \-jars${project.dir}/spark-datasource-v3.1/target/...
作业开发问题
为什么相同JAR包在经过多次修改后上传失败？报错：Could not parse type at position 50:expected but was.Input type string:ROW 使用Entrypoint Main Args配置参数时，传入参数包含空格，作业无法运行起来，应该如何处理？问题详细 问题...
Elasticsearch
将从官方仓库下载的JAR包上传到一个与Elasticsearch同地域的OSS中，如何上传请参见 控制台上传文件。在本地开发工程中添加如下依赖。dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11...
Hive连接方式
重要 运行JAR包的服务器与E-MapReduce集群需要在同一个VPC和安全组下，并且网络可达。如果两者的VPC不同或网络环境不同，则需要通过公网地址访问，或先使用网络产品打通两者的网络，再通过内网访问。网络连通性测试方法：公网：telnet ...
API概览
所包含的知识列表 ListSubscriptionByPackage 根据指定的行业包查询订阅了指定行业包、指定版本的机器人订阅关系列表 ListSubscriptionByRobot 根据机器人Code查询指定机器人与行业包订阅关系列表 InstallPackage 为指定机器人订阅指定行业...
UDF（地理空间）
获取 Esri Geometry JAR 包，并且将包名重命名为 esri-geometry-api.jar。说明 如果链接下载失败可以直接访问对应的GitHub仓库。步骤二：在MaxCompute上注册函数 在 使用客户端（odpscmd）连接 上执行如下命令将本地准备好的两个依赖JAR包...
社区版CDC
说明 您也可以前往 Maven中央仓库 下载对应的JAR包。登录 实时计算控制台，并在左侧导航栏单击 数据连接。在 数据连接 页面，单击 创建自定义连接器，并上传第2步中下载的JAR文件。详情请参见 管理自定义连接器。编写SQL作业时，将社区版...
API概述
您需要下载tea-openapi以及xgippop20220520 jar包。Java SDK下载 下面提供了Java语言的SDK下载地址与版本。阿里云核心库 编程语言 Java SDK名称 Java SDK下载地址 Java tea-openapi-java-sdk 0.2.2 5G互联平台库 编程语言 Java SDK名称 ...
附录：API调用示例
JAVA SDK调用方式 JAVA SDK简介 Dataphin服务Java SDK是根据您自定义的所有API接口，自动生成的Java调用代码，让您无需复杂编程即可访问Dataphin服务。这里向您介绍如何使用Dataphin服务SDK。代码文件的层级结构如下：Java SDK文件夹 sdk/...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
通过spark-submit命令行工具开发Spark应用
jars<jar_name>Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。用户可使用-oss-upload-path 或者在 conf/spark-defaults.conf 配置文件中设置ossUploadPath的值来指定文件资源上传到OSS的路径。文件...
自定义函数（UDF）
hive 执行以下命令，应用生成的JAR包创建函数。create function myfunc as"org.example.MyUDF"using jar"hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar;代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
资源包说明
云消息队列 RocketMQ 版 的标准版实例按照按量付费方式对API请求资源和Topic资源进行计费，针对这两个计费项，云消息队列 RocketMQ 版 分别推出API请求次数和Topic次数资源包，帮助您以更优惠的价格享受等量资源。使用的资源在资源包规格内...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
JAR作业开发
Flink JAR提供了更灵活的编程模型和API，可以自定义各种数据转换、操作和算子，适用于复杂的业务逻辑和数据处理需求。本文为您介绍Flink JAR作业的开发方法和调试方法。背景信息 Flink Datastream提供了阿里云Flink全托管产品的底层API调用...
Spark
解决方法：您可以通过Spark的conf配置参数添加以下配置，在日志中打印类加载过程中涉及的JAR包，从而排查哪些JAR包与Spark冲突。然后通过Maven常见的冲突解决方式Provided和Relocation解决该报错。详情请参见 Conf配置参数。spark....
SHOW
说明 更多关于备份与恢复命令的介绍，请参见 备份与恢复。表操作 查看建表语句。命令格式 show create table;参数说明 table_name：必填。待查看建表语句的表的名称。使用示例-查看表sale_detail的建表语句。show create table sale_detail...
SHOW
更多关于备份与恢复命令的介绍和示例，请参见 备份与恢复。表操作 查看建表语句。命令格式 show create table;参数说明 table_name：必填。待查看建表语句的表的名称。使用示例-查看表sale_detail的建表语句。show create table sale_...
开发后端逻辑流操作代码
对于模块中的每个后端逻辑流自定义操作，都会生成一个接口和一个实现类，接口存放在 custom-action-api jar 包中，而实现类则存在于 custom-action-core 模块中的src目录下。mobi-app-flow-sdk-1.0.0.jar：此jar包为魔笔平台提供的SDK，...
SDK概述
emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持Spark读MNS数据源，使用时需要打进作业JAR包。emr-ons_2.11：支持Spark读ONS数据源，使用时需要打进作业JAR包。emr-...
解决 utdid 冲突
冲突说明 如果您在使用了 mPaaS 的同时也使用了...10.1.68.8 及以下基线如果您使用了 utdid 相关的 API，请下载 jar 包 utdid-build-1.1.5.3-api.jar.zip，并引入(compile/implementation)到工程参与编译。10.1.68.9 及以上基线无需任何操作。
常见问题
MapReduce：您编写MapReduce程序后，需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR包，获取您的代码。您同样可以将文本文件以及MaxCompute中的表作为不同类型的资源上传到...
内积和余弦距离
Proxima CE关于余弦距离的处理与内积有紧密联系，内积在搜索推荐的场景中应用广泛，很多算法需要获取内积值做进一步的运算。Proxima CE对内积使用做了诸多优化，使其能够灵活应用于各种索引构建算法场景，如HNSW、SSG、HC、GC、QC及Linear...
开发和调试
内置Jar包 以下Jar包会默认加载到运行Graph程序的JVM中，您不必上传这些资源，也不必在命令行的-libjars 带上这些Jar包。commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api...
自定义标量函数（UDSF）
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.11.0!...
使用SDK调用API
API与APP建立授权关系。API已经发布到线上。1.下载SDK 控制台提供两种SDK的下载方式，如下：1.1 在 调用API 的 已授权API的SDK 中下载应用APP的SDK，此SDK是基于APP生成的。目前支持自动生成的SDK语言包括Objective-C、Android、Java。其他...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
自定义标量函数（UDSF）
输入与输出是一对一的关系，即读入一行数据，写出一条输出值。使用限制 由于Flink全托管产品受部署环境和网络环境等因素的影响，所以开发Python自定义函数时，需要注意以下限制：仅支持开源Flink V1.12及以上版本。Flink全托管集群上已预装...
UDF开发（Java）
在编写Java UDF时，您需要注意：不同UDF JAR包中不建议存在类名相同但实现逻辑不一样的类。例如UDF1、UDF2分别对应资源JAR包udf1.jar、udf2.jar，两个JAR包里都包含名称为 com.aliyun.UserFunction.class 的类但实现逻辑不一样，当同一条...
部署配置：通过EDAS部署
为了在云效上集成EDAS，需要保证您的应用可以在云效上打出 war 包或者 jar 包。详见 使用EDAS部署时的构建配置。云效支持 多种研发模式，及部署回滚等功能。EDAS提供了中间件、部署、运维、日志、监控等服务。云效与EDAS结合，可以很好的...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
JDBC
背景信息 JDBC（Java Database Connectivity）为Java应用程序提供了访问数据库的编程接口。PolarDB PostgreSQL版（兼容Oracle）数据库的JDBC是基于开源的PostgreSQL JDBC开发而来，使用PostgreSQL本地网络协议进行通信，允许Java程序使用...
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
Spark SQL
ADD JAR命令 用于增加Spark SQL运行时，依赖的jar包，比如UDF的jar包，各类数据源连接器的Jar包等。Jar包目前支持OSS格式路径，一般置于整个SQL语句的最前面。每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条...
- 产品推荐
- 这些文档可能帮助您