Spark UDF

使用元数据服务管理用户自定义函数UDF

• 注册UDF

  Spark元数据支持UDF使用Hive 1.2.1标准来进行开发，注册UDF的示例如下：

  CREATE FUNCTION function_name AS class_name USING resource_location_list;

  参数名称	参数说明
  function_name	注册方法名，在注册前需要通过USE DatabaseName来指定此UDF的作用范围，或者以显式方式指定它的应用范围。
  class_name	完整的class_name需要携带package信息，它的开发规范可以参考Spark和Hive的FUNCTION开发规范。
  resource_location_list	这个方法使用到的JAR包或者文件放置的位置, 需要显式指定依赖的是JAR还是FILE： USING JAR 'oss://test/function.jar',FILE 'oss://test/model.csv'。

• 查询当前数据库的所有UDF

  USE databasename;
  SHOW USER FUNCTIONS;

  说明

  如果不加USER关键词，查询到的是Spark默认的Function，默认Function不允许被删除。

• 删除UDF

  USE databasename;
  DROP FUNCTION functionname;

  说明

  数据湖元数据管理不支持针对UDF的Alter语法，如果需要修改元数据的一些配置，请DROP对应的UDF后重新创建。

使用UDF

1. 实现UDF。

   初始化一个Maven管理工程，并在依赖中加入如下代码：

   <dependency>
     <groupId>org.apache.hive</groupId>
     <artifactId>hive-exec</artifactId>
     <version>1.2.1</version>
   </dependency>

   在Package的org.test.udf中实现一个Ten.java ，它会为数据加10然后进行返回。

   package org.test.udf;
   import org.apache.hadoop.hive.ql.exec.UDF;
   public class Ten extends UDF {
     public long evaluate(long value) {
       return value + 10;
     }
   }

2. 注册UDF到Spark并使用。

   编译Maven工程为udf.jar并上传到OSS中，之后您可以注册这个方法并通过Serverless Spark来执行SQL访问它。

   -- here is the spark conf
   set spark.driver.resourceSpec=medium;
   set spark.executor.instances=5;
   set spark.executor.resourceSpec=medium;
   set spark.app.name=sparksqltest;
   set spark.sql.hive.metastore.version=dla;
   set spark.dla.connectors=oss;
   -- here is your sql statement
   use db;
   CREATE FUNCTION addten as 'com.aliyun.dla.udf.Ten' USING JAR 'oss://path/to/your/udf.jar';
   select addten(7);

3. 检查结果

   在注册UDF后，您无需反复进行注册，可以直接调用这个方法。

   由于addten这个UDF已经被注册到了数据库db中，执行完上述的Spark作业后，可以在日志中看到输出17。