本文为您介绍如何注册EMR(E-MapReduce)函数。

前提条件

  • 您已创建阿里云EMR集群,且集群所在的安全组中入方向的安全策略包含以下策略。
    • 授权策略:允许
    • 协议类型:自定义 TCP
    • 端口范围:8898/8898
    • 授权对象:100.104.0.0/16
  • 您在工作空间配置页面添加E-MapReduce计算引擎实例后,当前页面才会显示EMR目录。详情请参见配置工作空间
  • 您需要先上传资源,才可以注册函数。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 新建业务流程,详情请参见创建业务流程
  3. 在本地Java环境编辑程序并生成JAR包后,再新建JAR资源,并提交发布。详情请参见创建EMR JAR资源
  4. 新建函数。
    1. 打开相应的业务流程,右键单击EMR,选择新建 > 函数
    2. 新建函数对话框中,输入函数名称,并选择EMR引擎实例目标文件夹
    3. 单击提交
    4. 注册函数对话框中,配置各项参数。
      注册函数
      参数 描述
      函数类型 选择函数类型,包括数学运算函数聚合函数字符串处理函数日期函数窗口函数其他函数
      EMR引擎实例 默认不可以修改。
      EMR引擎类型 默认不可以修改。
      EMR数据库 从下拉列表中选择相应的数据库。如果您需要新建数据库,请单击新建库。在新建库对话框中,配置各项参数,单击确认
      函数名 UDF函数名,即SQL中引用该函数所使用的名称。需要全局唯一,且注册函数后不支持修改。
      责任人 默认显示。
      类名 实现UDF的主类名,必填。
      资源列表 从下拉列表中选择本工作空间中已添加的资源,必填。如果您需要新建资源,请单击新建资源。在新建资源对话框中,配置各项参数,单击确定
      描述 对当前UDF进行简单描述。
      命令格式 该UDF的具体使用方法示例,例如test
      参数说明 支持输入的参数类型以及返回参数类型的具体说明。
      返回值 返回值,例如1,非必填项。
      示例 函数中的示例,非必填项。
  5. 单击工具栏中的保存图标。
  6. 提交函数。
    1. 单击工具栏中的提交图标。
    2. 提交新版本对话框中,输入变更描述
    3. 单击确认