DataWorks支持用户自定义、发布和使用数据质量插件,满足多样的数据质量定制化需求。
操作步骤
- 新增数据质量插件。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据开发。
- 单击页面右上方的节点配置,默认进入节点插件列表。
- 在左侧导航栏,单击数据质量插件列表。
- 在数据质量插件列表页面,单击右上方的新增。
- 在基本设置页面,配置各项参数。
参数 描述 名称 数据质量插件的名称。 说明 插件名称必须以字母开头,且仅支持字母、下划线(_)和数字。负责人 在下拉列表中选择新增插件的负责人。 引擎/数据源类型 包括计算引擎和数据源。选中类型后,再从下拉列表中选择相应的计算引擎或数据源。 校检模式 仅支持离线校检。 资源文件 包括上传本地文件和使用OSS文件两种方式。 单击选择文件,在上传文件对话框中选择相应的方式并进行配置,单击确认。
类名 数据质量插件实现的类的全路径名称。 参数模板 根据您上传的资源文件设计您的参数内容。 版本号 新增时,请选择使用新版本。编辑和回滚时,请选择覆盖当前版本。 版本描述 对插件进行简单描述。 - 单击保存后,再单击下一步。
- 在发布到开发环境页面,确认内容无误后,单击提交开发环境发布,实时查看发布进度。
- 发布成功后,单击下一步。
- 单击下一步,进入发布到开发环境对话框。确认基本设置无误后,单击提交开发环境发布。待提示节点在开发环境发布成功后,单击下一步,进入在开发环境测试对话框。
- 在开发环境测试插件。
- 在在开发环境测试页面,配置左侧的各项参数。
参数 描述 采样方法 选中需要使用的采样方法。 存储引擎/数据源 选择存储的计算引擎或数据源。 表GUID 表的GUID,例如database.table。 分区名 表的实际分区名称。 字段名 字段的名称。 过滤条件 过滤语句。此处输入where后的条件,无需输入where。 自定义SQL 自定义SQL语句。 - 单击开始测试。
- 确认测试结果无误后,选中已检查,确认测试通过。
- 单击下一步。
- 在在开发环境测试页面,配置左侧的各项参数。
- 在发布到生产环境页面,单击提交生产环境发布,实时查看发布进度。
- 单击完成,进入插件列表。您可以在该页面查看新建的插件,并进行配置、查看全部版本和删除等操作:
- 单击配置后,会根据插件的状态,自动跳转至相应的页面。
- 单击查看全部版本,在全部版本对话框中,查看、回滚或下载插件的版本,单击确认:
- 查看:单击后,进入新增数据质量插件的基本信息页面。
- 回滚:单击后,在回滚对话框中,单击确认,即可回滚至上个版本。
- 下载:单击下载,即可下载当前版本的插件。
- 单击删除,在删除插件对话框中,单击确认。
在文档使用中是否遇到以下问题
更多建议
匿名提交