离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数,包括计算引擎源常用且系统默认支持的函数和用户自定义函数,前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。

前提条件

完成资源的创建,详情请参见新建资源

背景信息

Dataphin系统根据函数类型定义了函数的目录,帮助您更好地管理函数。

操作步骤

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
    您可以通过以下方式,快速进入工作区:
    • 选择工作区地域后,单击快速开始相关工作区域中的数据研发
    • 选择工作区地域后,单击快速进入研发项目后的DevBasic页签,选择相应的项目。
    说明
    • 如果您通过快速开始相关工作进入数据开发模块,则跳过步骤3.i。
    • 如果您通过快速进入研发项目进入数据开发模块,则跳过步骤3.ii。
  3. 进入函数管理页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 在数据开发页面,单击数据处理
    4. 数据处理页签,单击左侧导航栏的fagag函数管理图标。
  4. 函数管理页面,进入新建函数对话框。
    系统支持新建的函数类型,根据Dataphin系统的计算引擎不同而不同:
    • 如果Dataphin系统的计算引擎为MaxCompute,则系统支持选择MAXC函数FLINK函数
    • 如果Dataphin系统的计算引擎为ADB for PostgreSQL,则系统支持选择ADB函数FLINK函数
    您可以通过以下任何一种方式,进入新建函数对话框:
    • 单击函数管理后的图标,选择新建函数类型。
    • 单击项目名称后的图标,选择数据处理 > 函数后选择函数类型。
    • 在数据开发首页,单击ADB函数MAXC函数FLINK函数下的图标。
  5. 新建函数对话框,配置参数。
    gaga
    参数 描述
    名称 填写名称。名称由字母,数字,下划线(_)组合组成,且首字符仅限字母。
    选择资源 选择资源文件。下拉框中提供的是匹配当前项目的资源名称。
    说明
    • 当前,仅支持选择PYTHON、JAR格式的文件进行定义函数。
    • 选择多个资源时,仅限但选择同一种资源类型。
    • 如果您还没有资源,请参见新建资源创建资源。
    类名 填写类名。针对MaxCompute的计算类型中的资源,提取资源中类的内容,例如test_udf.UDFGETSrcId
    类型 选择类型,下拉框中可供选择的类型包含窗口统计数值字符串时间ip地址相关函数URL编译码业务其他
    命令格式 填写命令格式。命令格式即函数引用格式,例如,bigintweekday (datetime date)
    使用文档 填写函数使用描述,例如。
    select   
    get_week_date("20170810",0,2),--获取8月10日,本周周二日期。
    from  cndata.dual
    选择目录 系统默认为当前函数类型的目录。如果您需要修改,则系统仅支持修改该函数类型目录下的子目录。

    例如,您新建的是MAXC函数,则系统自动为您选中MAXC函数为目录。如果您需要修改目录, 则系统仅支持选择MAXC函数目录下的子目录。

  6. 提交用户自定义函数。
    1. 完成参数配置后,单击提交
    2. 提交备注页面,填写备注信息。
    3. 单击确定并提交,完成用户自定义函数的创建,即将自定义函数注册至MaxCompute或ADB for PostgreSQL。
    说明 如果自定义函数引用的资源有更新,则需重新提交自定义函数,这样注册至MaxCompute或ADB for PostgreSQL的自定义函数才会更新。
    您可以通过即席查询(请参见新建即席查询)编写SQL代码(SQL代码中引用该函数)验证函数是否符合预期效果。SQL查询语句示例如下。
    select   
    get_week_date("20170810",0,2),--获取8月10日本周周二日期。
    from  cndata.dual
  7. 可选:发布用户自定义函数至生产环境。
    • 如果您的开发模式是Dev-Prod,则需要发布已提交的用户自定义函数,详情请参见管理发布任务
    • 如果您的开发模式是Basic,则提交成功的用户自定义函数,即可进入生产环境。
    对已添加的用户自定义函数,您可以执行如下操作。
    操作 描述
    查看离线计算函数信息 Dataphin支持查看离线计算函数的基本信息、引用信息和版本信息:
    1. 离线计算函数页面,单击左侧功能区域中需要查看信息的离线计算函数。
    2. 函数管理属性页面,您可以查看基本信息引用信息版本信息
      • 引用信息区域,单击某个引用信息后,就可以进入引用该函数的对应的模块,查看引用信息的详情。
        说明 如果离线计算函数没有被任务引用,则您将无法看到引用信息
      • 版本信息区域:
        • 将鼠标悬停在某个版本所在行操作列下的taga图标,查看对应版本的详细信息。
        • 单击某个版本所在行操作列下的tsgs图标。在提示对话框,单击确定,回滚至该版本。
    修改用户自定义函数 离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数,包括计算引擎源常用且系统默认支持的函数和用户自定义函数,前者不支持编辑操作:
    1. 离线计算函数页面,将鼠标悬停在需要修改的自定义函数后的图标,单击编辑
    2. 编辑函数对话框,支持修改选择资源类名类型命令格式使用文档参数。
    3. 提交或发布用户自定义函数。
    移动用户自定义函数
    1. 离线计算函数页面,将鼠标悬停在需要移动的自定义函数后的图标,单击移动
    2. 移动文件对话框,选择目录。
    3. 单击确定,完成自定义函数的移动。
    删除用户自定义函数
    说明 如果用户自定义函数被离线计算函数或离线计算任务引用,则不支持删除。
    1. 离线计算函数页面,将鼠标悬停在需删除的自定义函数后的图标,单击删除
    2. 提示对话框,填写备注信息。
    3. 单击确定并提交,完成自定义函数的删除。