DataWorks支持用户自定义、发布和使用数据质量插件,满足多样的数据质量定制化需求。

操作步骤

  1. 新增数据质量插件。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
    4. 单击页面右上方的节点配置,默认进入节点插件列表
    5. 在左侧导航栏,单击数据质量插件列表
    6. 数据质量插件列表页面,单击右上方的新增
  2. 基本设置页面,配置各项参数。
    基本设置
    参数 描述
    名称 数据质量插件的名称。
    说明 插件名称必须以字母开头,且仅支持字母、下划线(_)和数字。
    负责人 在下拉列表中选择新增插件的负责人。
    引擎/数据源类型 包括计算引擎数据源。选中类型后,再从下拉列表中选择相应的计算引擎或数据源。
    校检模式 仅支持离线校检
    资源文件 包括上传本地文件使用OSS文件两种方式。

    单击选择文件,在上传文件对话框中选择相应的方式并进行配置,单击确认

    类名 数据质量插件实现的类的全路径名称。
    参数模板 根据您上传的资源文件设计您的参数内容。
    版本号 新增时,请选择使用新版本。编辑和回滚时,请选择覆盖当前版本。
    版本描述 对插件进行简单描述。
  3. 单击保存后,再单击下一步
  4. 发布到开发环境页面,确认内容无误后,单击提交开发环境发布,实时查看发布进度
  5. 发布成功后,单击下一步
  6. 单击下一步,进入发布到开发环境对话框。确认基本设置无误后,单击提交开发环境发布
    待提示节点在开发环境发布成功后,单击下一步,进入在开发环境测试对话框。
  7. 在开发环境测试插件。
    1. 在开发环境测试页面,配置左侧的各项参数。
      参数
      参数 描述
      采样方法 选中需要使用的采样方法。
      存储引擎/数据源 选择存储的计算引擎或数据源。
      表GUID 表的GUID,例如database.table
      分区名 表的实际分区名称。
      字段名 字段的名称。
      过滤条件 过滤语句。此处输入where后的条件,无需输入where
      自定义SQL 自定义SQL语句。
    2. 单击开始测试
    3. 确认测试结果无误后,选中已检查,确认测试通过
    4. 单击下一步
  8. 发布到生产环境页面,单击提交生产环境发布,实时查看发布进度
  9. 单击完成,进入插件列表
    您可以在该页面查看新建的插件,并进行配置查看全部版本删除等操作:
    • 单击配置后,会根据插件的状态,自动跳转至相应的页面。
    • 单击查看全部版本,在全部版本对话框中,查看、回滚或下载插件的版本,单击确认
      • 查看:单击后,进入新增数据质量插件的基本信息页面。
      • 回滚:单击后,在回滚对话框中,单击确认,即可回滚至上个版本。
      • 下载:单击下载,即可下载当前版本的插件。
    • 单击删除,在删除插件对话框中,单击确认