离线数据加工卡点,主要指在业务系统的数据生成过程中进行的卡点校验。

代码提交的卡点校验

代码提交卡点主要包括您在提交代码时,手动或自动进行SQL扫描,检查您的SQL逻辑。校验规则分类如下:
  • 代码规范类规则,如表命名规范、生命周期设置、表注释等。
  • 代码质量类规则,如分母为0提醒、NULL值参与计算影响结果提醒、插入字段顺序错误等。
  • 代码性能类规则,如分区裁剪失效、扫描大表提醒、重复计算检测等。
您在使用DataWorks数据开发功能时,如果代码中有语法错误,会出现如下红色波浪线提示。

关于SQL代码、表命名、生命周期、注释的其他规范,请参见表设计规范SQL代码编码原则与规范

任务发布卡点

为保证线上数据的准确性,每次变更都需要经过测试再发布到线上生产环境,且生产环境测试通过后才算发布成功。发布上线前的测试包括代码审查和回归测试。对于资产等级较高的应用,必须在完成回归测试之后,才允许任务发布,本教程中应用为A2等级,属于高资产级别应用。

回归测试需保证您能充分模拟真实环境进行测试:
  • 对于标准模式项目,您可使用SQL语句将数据从生产环境复制开发环境,运行业务流程。
  • 对于简单模式的项目,您可以直接运行业务流程,观察是否有报错,详情请参见简单模式和标准模式的区别
在本教程中,由于使用简单模式,您只需提交任务。

完成运行后,如果所有节点都显示绿色图标,则表示业务流程测试通过。

相关人员通告

在进行更新操作前,需要通知下游变更原因、变更逻辑、变更时间等信息。下游对此次变更没有异议后,再按照约定时间执行发布变更,将变更对下游的影响降到最低。例如,在本教程中,如果表格存储数据源的表结构发生了变更,您需要通知ots_user_trace_log、ods_user_trace_log、dw_user_trace_log、rpt_user_trace_log表的责任人,及时更新表结构。