打印UDF日志
在开发UDF的过程中打印日志有助于用户进行UDF代码调试，本文为您介绍在MaxCompute中如何打印及查看UDF日志。背 景信息 当前MaxCompute的UDF运行在远端的机器上，很多用户代码在本地测试成功以后，提交到分布式的环境下，可能由于数据不同...
同步HDFS Audit日志至HDFS
EMR Flume支持多种服务启动方式，本文介绍通过E-MapReduce（简称EMR）控制台修改Flume配置并启动Flume Agent，继而实时同步HDFS Audit日志至HDFS。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 进入...
查询所有实时日志投递服务信息
调用ListLiveRealtimeLogDeliveryInfos查询所有实时日志投递服务信息。使用说明 您可调用本接口所有实时日志投递服务信息，无其他特殊使用说明，调用时请保证参数设置符合要求。QPS限制 本接口的单用户QPS限制为6000次/分钟。超过限制，API...
查询实时日志投递服务下所有直播域名
调用ListLiveRealtimeLogDeliveryDomains查询实时日志投递服务下所有直播域名。使用说明 调用本接口查询实时日志投递服务下所有直播域名，返回的日志服务状态分为正在服务和停止服务。QPS限制 本接口的单用户QPS限制为6000次/分钟。超过...
CLB使用访问日志快速定位异常后端服务器
CLB结合阿里云日志服务提供的访问日志功能，可帮助您大幅提升故障定位与处理的效率。使用限制 仅CLB的七层负载均衡（HTTP/HTTPS监听）支持访问日志功能。前提条件 已创建CLB实例。具体操作，请参见 创建和管理CLB实例。已创建虚拟服务器组...
基于OSS用户自定义日志字段分析中间链路代理
OSS新增扩展字段 user_defined_log_fields 以支持自定义日志需求，您可以通过设置 x-forwarded-for 头来分析中间链路代理的情况。前提条件 请确保您已开启实时日志查询。具体操作，请参见 实时日志查询。请确保您发起的请求中含有待设置的...
ListOpenedAccessLogInstances-列出打开的访问日志实例
查询已开启日志分析的DDoS原生防护实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
Logview诊断实践
此外，在Task的 StdOut 日志里，UDF框架会打印UDF输入的记录数、输出记录数、以及处理时间，如下图所示，通过这些数据可以看出UDF是否有性能问题。一般正常情况 Speed(records/s)在百万或者十万级别，如果降到万级别，那么基本上就存在性能...
ODPS-0123144
解决方案 如果用的PYODPS在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您...
MaxCompute UDF（Python）常见问题
解决措施：在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您可以在 Logview...
概述
udf(result_type=DataTypes.BIGINT())def add(i,j):logging.info("hello world")return i+j 日志输出后，您可以在TaskManager的日志文件中查看日志，详情请参见 查看运行日志。性能调优 预先加载资源 预先加载资源可以在UDF初始化时提前...
UDF开发（Java）
UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
管理自定义函数（UDF）
注意事项 当RAM用户或RAM角色等其他身份需要进行管理自定义函数（UDF）等相关操作时，请确保其具有目标项目空间的访问权限，详情请参见 项目空间授权。为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的...
UDF开发示例汇总
UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python UDF使用第三...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务...UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串...
UDF（SQL自定义函数）
定义SQL UDF：创建临时SQL UDF MaxCompute支持通过 function 命令创建SQL UDF，且通过此命令创建的UDF为临时SQL UDF，即创建完成后不会存入MaxCompute的Meta系统，因此无法在MaxCompute的函数列表中查询到此UDF，后续仅支持在当前SQL脚本中...
MaxCompute UDF概述
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
IntelliJ IDEA Java UDF开发最佳实践
本文为您详细介绍如何使用IntelliJ IDEA的插件MaxCompute Studio进行Java UDF开发，实现大写字母转换为小写字母。前提条件 请确认已在IntelliJ IDEA上完成如下准备工作：安装MaxCompute Studio 创建MaxCompute项目连接 创建MaxCompute Java...
CREATE SQL FUNCTION
SQL语言定义函数作为一种用户自定义函数（UDF），弥补了MaxCompute只能用Java或Python创建UDF的不足，还扩展了UDF入参的参数类型，可支持函数类型的入参参数，提升表达业务逻辑的灵活性。SQL UDF支持永久UDF和临时UDF，本文为您介绍通过...
开发Python UDF
前提条件 您必须完成以下操作：管理项目连接 配置Python开发环境 开发Python UDF 在 Project 区域 MaxCompute Studio 目录下，右键单击 scripts，选择 New>MaxCompute Python。在 Create new MaxCompute python class 对话框中输入类名 ...
通过UDF访问VPC网络资源
MaxCompute默认不支持通过UDF直接访问VPC网络。若您需要在UDF中访问VPC网络资源，必须先建立MaxCompute与目标VPC之间的网络连接，本文以具体示例为您介绍如何通过UDF访问VPC网络资源。前提条件 请确认您已满足如下条件：已编写UDF代码。更...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
SparkSQL UDF基础操作
Spark SQL提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍Spark SQL中使用Hive自定义函数的流程。前提条件 已在Hive中创建了UDF，详情请...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
UDF示例：引用表资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用表资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的表...
自定义函数（UDF）
Hive提供了很多内建函数来满足您的计算需求，您也可以通过创建自定义函数（UDF）来满足不同的计算需求。UDF在使用上与普通的内建函数类似。本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User ...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
UDF示例：使用正则表达式替换字符串
本文为您介绍如何分别通过Java UDF和Python UDF实现使用正则表达式替换字符串。命令说明 本示例将注册一个名称为 UDF_REPLACE_BY_REGEXP 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_REPLACE_BY_REGEXP(string,...
UDF示例：获取字符串（含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取键值对字符串中指定Key对应的Value值，其中Key或Value本身含有二级分隔符。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE_WITH_SPLIT 的自定义函数，下面对命令格式和入参...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
UDF开发（Python2）
if self.counter>self.ln-1:return None ret=self.records[self.counter]self.counter+1 return str(ret)UDF开发：通用流程 开发UDF时通常需进行准备工作、编写UDF代码、上传并注册UDF、调用调试UDF这几个步骤。同时MaxCompute支持多种工具...
Flink
flink.udf.jars/Users/jzhang/github/flink-udf/target/flink-udf-1.0-SNAPSHOT.jar Zeppelin会扫描JAR包，然后检测出所有的UDF，并且自动注册UDF，UDF的名字就是Class名字。例如，show functions的结果如下。说明 默认情况下Zeppelin会...
UDF示例：获取字符串（不含分隔符）Value
本文为您介绍如何分别通过Java UDF和Python UDF实现获取不包含分隔符的键值对字符串中指定Key对应的Value值。命令说明 本示例将注册一个名称为 UDF_EXTRACT_KEY_VALUE 的自定义函数，下面对命令格式和入参进行说明。命令格式：string UDF_...
数据标准
数据元、指标和维度属性的质量校验函数（UDF）编写规范 整体规范说明：针对用于数据元、指标和维度属性的质量校验函数UDF，要求定义的函数入口接收2个参数：待校验的字段值。数据元、指标和维度属性的meta定义，格式为JSON的string。函数...
Java UDF最佳实践
为了满足复杂的数据开发场景，Dataphin智能研发版支持自定义Java UDF函数。本教程以Java自带函数（toLowerCase）为例，为您介绍如何基于Dataphin自定义Java UDF函数。前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF...
UDF示例：引用文件资源
本文以在MaxCompute客户端操作为例，为您介绍如何通过Python UDF引用文件资源。前提条件 请确认您已完成如下操作：已安装并配置MaxCompute客户端。更多安装并配置MaxCompute客户端信息，请参见 安装并配置MaxCompute客户端。已将待引用的...
- 产品推荐
- 这些文档可能帮助您