2022年
2022年12月更新记录 时间 特性 类别 描述 产品文档 2022-12-29 新增API 新说明 本文为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自...
术语表
MaxCompute支持通过Java、Python编程接口开发自定义函数，详情请参见 MaxCompute UDF。狭义的UDF指用户自定义标量函数（User Defined Scalar Function），它的输入与输出是一对一的关系，即读入一行数据，写出一条输出值。UDAF User ...
UDF开发（Java）
UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
管理自定义函数（UDF）
注意事项 当RAM用户或RAM角色等其他身份需要进行管理自定义函数（UDF）等相关操作时，请确保其具有目标项目空间的访问权限，详情请参见 项目空间授权。为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
开发UDF
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务...UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串...
UDF（SQL自定义函数）
定义SQL UDF：创建临时SQL UDF MaxCompute支持通过 function 命令创建SQL UDF，且通过此命令创建的UDF为临时SQL UDF，即创建完成后不会存入MaxCompute的Meta系统，因此无法在MaxCompute的函数列表中查询到此UDF，后续仅支持在当前SQL脚本中...
MaxCompute UDF概述
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
Spark UDF
本文档主要介绍了如何在Spark中管理并使用用户自定义函数UDF（User Define Function）。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB ...
FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
IntelliJ IDEA Java UDF开发最佳实践
本文为您详细介绍如何使用IntelliJ IDEA的插件MaxCompute Studio进行Java UDF开发，实现大写字母转换为小写字母。前提条件 请确认已在IntelliJ IDEA上完成如下准备工作：安装MaxCompute Studio 创建MaxCompute项目连接 创建MaxCompute Java...
动态加载UDF
本文为您介绍阿里云EMR Trino如何动态加载和更新UDF。背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打...
CREATE SQL FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
开发Python UDF
前提条件 您必须完成以下操作：管理项目连接 配置Python开发环境 开发Python UDF 在 Project 区域 MaxCompute Studio 目录下，右键单击 scripts，选择 New>MaxCompute Python。在 Create new MaxCompute python class 对话框中输入类名 ...
通过UDF访问VPC网络资源
MaxCompute默认不支持通过UDF直接访问VPC网络。若您需要在UDF中访问VPC网络资源，必须先建立MaxCompute与目标VPC之间的网络连接，本文以具体示例为您介绍如何通过UDF访问VPC网络资源。前提条件 请确认您已满足如下条件：已编写UDF代码。更...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
SparkSQL UDF基础操作
Spark SQL提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍Spark SQL中使用Hive自定义函数的流程。前提条件 已在Hive中创建了UDF，详情请...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
UDF示例：引用表资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用表资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的表...
自定义函数（UDF）
Hive提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User ...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
UDF开发（Python2）
if self.counter>self.ln-1:return None ret=self.records[self.counter]self.counter+1 return str(ret)UDF开发：通用流程 开发UDF时通常需进行准备工作、编写UDF代码、上传并注册UDF、调用调试UDF这几个步骤。同时MaxCompute支持多种工具...
Flink
flink.udf.jars/Users/jzhang/github/flink-udf/target/flink-udf-1.0-SNAPSHOT.jar Zeppelin会扫描JAR包，然后检测出所有的UDF，并且自动注册UDF，UDF的名字就是Class名字。例如，show functions的结果如下。说明 默认情况下Zeppelin会...
UDF示例：获取字符串（不含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取不包含分隔符的键值对字符串中指定Key对应的Value值。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_...
数据标准
数据元、指标和维度属性的质量校验函数（UDF）编写规范 整体规范说明：针对用于数据元、指标和维度属性的质量校验函数UDF，要求定义的函数入口接收2个参数：待校验的字段值。数据元、指标和维度属性的meta定义，格式为JSON的string。函数...
Java UDF最佳实践
为了满足复杂的数据开发场景，Dataphin智能研发版支持自定义Java UDF函数。本教程以Java自带函数（toLowerCase）为例，为您介绍如何基于Dataphin自定义Java UDF函数。前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF...
UDF示例：引用文件资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用文件资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的...
自定义UDF
除了DLA Ganos本身提供的UDF算子之外，您也可以通过自定义UDF来扩展DLA Ganos的功能，从而更加方便地与业务系统对接。操作步骤 本文以计算归一化植被指数（NDVI）为例，来展示如何基于DLA Ganos实现用户自定义的UDF算子。初始化...
Java UDF最佳实践
为了满足复杂的数据开发场景，Dataphin智能研发版支持自定义Java UDF函数。本教程以Java自带函数（toLowerCase）为例，为您介绍如何基于Dataphin自定义Java UDF函数。前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码嵌入SQL脚本。背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译...
MaxCompute UDF（Java）常见问题
本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一...
UDAF概述
MaxCompute Studio 使用Python开发UDF时需满足Python UDF的开发规范，详情请参见 UDF开发规范与通用流程（Python3）、UDF开发规范与通用流程（Python2）。② 必选 通过本地运行或单元测试方式调试自定义函数，查看运行结果是否符合预期。③...
上传及注册
背景信息 MaxCompute Studio提供了一键式完成上传Python程序至MaxCompute及注册MaxCompute UDF操作的能力，推荐您使用该方式。您也可以在MaxCompute Studio上单独执行上述两项操作。上传Python程序至MaxCompute操作，请参见 添加资源。注册...
ODPS-0123144
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
- 产品推荐
- 这些文档可能帮助您