自定义函数UDF（Remote UDF）

功能概述

Remote Function允许开发者通过将外部函数集成到Hologres中，扩展数据处理和分析的能力。在Hologres V3.1版本中，Remote Function支持调用阿里云的函数计算服务FC。该功能的引入，使用户能够在查询Hologres数据的同时，动态调用阿里云函数计算处理复杂的业务逻辑或进行高级数据操作。

通过Remote Function，用户可以实现以下三种应用场景：

• 实时数据处理：在查询数据时，实时调用外部函数进行数据清洗、格式转换或复杂计算。

• 集成第三方服务：通过函数计算，将Hologres数据与其他阿里云服务或第三方API进行交互。

• 高级分析：利用函数计算实现高级分析算法，如模型推断、机器学习等，并将结果直接写回Hologres。

前提条件

• 已开通Hologres实例，且该实例版本需为V3.1及以上。详情请参见购买Hologres。

• 已开通函数计算服务，且函数计算FC实例为V3.0版本。具体操作请登录函数计算控制台。

• 已授权服务关联角色AliyunServiceRoleForHologresRemoteUDF。

  1. 登录Hologres管理控制台，单击左侧导航栏授权服务关联角色。

  2. 勾选AliyunServiceRoleForHologresRemoteUDF，单击一键授权完成。如图所示：

     

注意事项

• 仅支持标量UDF和UDTF，暂不支持UDAF。

• 仅支持如下数据类型和对应的数组类型：BOOLEAN、INTEGER、BIGINT、REAL、DOUBLE PRECISION和TEXT。

• Remote Function不支持常量入参。

• 该功能在函数计算FC中会产生一定费用。详情请参见产品计费。

• 该功能在Hologres中不会产生额外费用。

自定义函数管理

CREATE EXTENSION [ IF NOT EXISTS ] function_compute;

CREATE [ OR REPLACE ] FUNCTION <function_name>
  ( [ [ argmode ] [ argname ] <argtype> [ { DEFAULT | = } default_expr ] [, ...] ] )
    [ RETURNS [SETOF] rettype | RETURNS TABLE ( column_name column_type) ]
  LANGUAGE function_compute
  AS '<fc_endpoint>/<func_name>'
  {
    { CALLED ON NULL INPUT | RETURNS NULL ON NULL INPUT | STRICT }
    | SET function_compute.qualifier TO <qualifier>
    | SET function_compute.compression TO <compression>
    | SET function_compute.max_batch_size TO <max_batch_size>
  } ...

SELECT
  CASE
    WHEN p.proretset = 'f' THEN 'scalar UDF'
    WHEN p.proretset = 't' THEN 'UDTF'
  END AS function_type,
  n.nspname AS schema_name,
  p.proname AS function_name,
  pg_get_function_arguments(p.oid) AS arguments,
  pg_get_function_result(p.oid) AS return_type,
  p.proisstrict AS is_strict,
  p.proconfig AS config,
  pg_get_functiondef(p.oid) AS definition
FROM
  pg_proc p
  JOIN pg_language l ON p.prolang = l.oid
  JOIN pg_namespace n ON p.pronamespace = n.oid
WHERE
  l.lanname = 'function_compute'
  AND p.prokind != 'p'
ORDER BY
  function_type,
  schema_name,
  function_name;

 DROP FUNCTION [ IF EXISTS ] <function_name> [ ( [ [ argmode ] [ argname ] <argtype> [, ...] ] ) ] [, ...]

DROP FUNCTION rf_add(INTEGER, INTEGER);

数据交互格式

{  
  "data": [  
    ["foo", 100, true],
    [null, null, false],
    ["bar", 200, false]
  ]
}  

自定义函数使用示例

本示例以unnest函数为例。

1. 开通函数计算。

   登录函数计算控制台。您还可以根据界面提示领取一定额度的免费资源包。详情请参见试用额度。

2. 创建FC事件函数。

   1. 单击左侧导航栏函数，切换地域，保持与Hologres实例在同一地域。

   2. 在函数页面，单击创建函数，进入创建函数页面。

   3. 选择事件函数，配置如下参数，其他参数保持不变。详情请参见创建事件函数。

      参数	说明
      函数名称	自定义设置。例如unnest。
      运行环境	选择内置运行时/Python/Python 3.10。
      代码上传方式	选择通过ZIP包上传代码。
      代码包	上传已编写并打包好的代码包。 将如下代码保存至unnest.py，并压缩成unnest.zip。 import json def unnest(event, context): evt = json.loads(event) data = evt.get('data', None) if data is None: raise ValueError('no "data" key in event.') if not isinstance(data, list): raise ValueError('data is not a list.') res = list() for i in range(len(data)): if len(data[i]) != 1 or not isinstance(data[i], list): raise ValueError('the item in data is not a list.') for item in data[i][0]: res.append([i, item]) return json.dumps({'results': res})
      请求处理程序	填写unnest.unnest。

3. 创建Hologres Remote Function。

   说明

   您需要在HoloWeb平台完成以下步骤，具体操作请参见连接HoloWeb。

   CREATE EXTENSION IF NOT EXISTS function_compute;
   
   CREATE OR REPLACE FUNCTION rf_unnest(INTEGER [])
     RETURNS SETOF INTEGER
   STRICT
   LANGUAGE function_compute
   AS 'xxxxxxxxxxxxxxxxx.cn-shanghai-internal.fc.aliyuncs.com/unnest';

4. 准备测试数据。

   CREATE TABLE test_array (
       numbers INTEGER[]
   );
   
   INSERT INTO test_array (numbers) VALUES
     (ARRAY[1, 3]),
     (ARRAY[2, 4]),
     ('{}'),  
     (ARRAY[]::INTEGER[]),  
     (NULL);

5. 调用Remote Function。

   SELECT numbers, rf_unnest(numbers) FROM test_array;
   
    numbers | rf_unnest
   ---------+-----------
    {2,4}   |         2
    {2,4}   |         4
    {1,3}   |         1
    {1,3}   |         3
   (4 rows)