全部产品
阿里云办公

使用 UDF 处理数据

更新时间:2017-09-21 10:34:50

如果您在表格存储里面的数据有着独特的结构,希望自定义开发逻辑来处理每一行数据,比如解析特定的 json 字符串,可以使用 UDF(User Defined Function,即用户自定义函数)来处理。

操作步骤

  1. 参考 MaxCompute Studio 文档,在 IntelliJ 中安装 MaxCompute-Java/MaxCompute-Studio 插件。插件安装完毕,就可以直接开发。

    下图是一个简单的 UDF 定义,将两个字符串连接。MaxCompute 支持更复杂的 UDF,包括自定义窗口执行逻辑等,更多信息请参考 开发和调试 UDF

    UDF

  2. 打包之后可以上传到 MaxCompute。

    选择 File > Project Structure > Artifacts,输入 NameOutput directory 后,单击 + 选择输出模块。打包后通过 ODPS Project Explorer 来上传资源、创建函数,然后就可以在 SQL 中调用。

    UDF2

  3. 运行 bin/odpscmd.bat。

    1. // 我们选出来1行数据,并将name/name传入UDF,返回两个string的累加
    2. select cloud_metric_extract_md5(name, name) as udf_test from test_table limit 1;

    返回结果如下:

    UDF3

本文导读目录