大数据计算异常自动检测和恢复

前提条件

大数据计算MaxCompute、DataWorks基于企业版V3.12及以上版本。

背景信息

在使用大数据平台进行数据处理过程中，当计算任务出现异常情况下，大数据平台可以自动检测出异常，当异常情况恢复正常后，计算任务可以自动恢复正常。

组件介绍

大数据计算服务（MaxCompute）是面向大数据处理的分布式系统，主要提供结构化数据的存储和计算，服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节，从而达到分析大数据的目的。

DataWorks数据工场为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持离线同步、Shell、ODPS SQL、ODPS MR等多种节点类型，通过节点之间的相互依赖，对复杂的数据进行分析处理。DataWorks提供可视化的代码开发、工作流设计器页面，无需搭配任何开发工具，简单拖拽和开发，即可完成复杂的数据分析任务。

实践步骤

1. 首先需要创建大数据MaxCompute的项目，配置计算资源，CPU、内存、存储空间，做大数据计算使用。

   1. 创建大数据MaxCompute项目。

      1. 登录Apsara Uni-manager运营控制台，在上方导航栏选择产品>大数据>大数据计算 MaxCompute，进入大数据计算服务界面。

      2. 首先，单击创建并填写信息，创建计算资源配额组作为计算资源使用，单位为cu，1 cu=1 core4G内存。

      3. 创建任务云账号，单击新建云账号，用于创建MaxCompute项目使用，一个云账号可以关联多个项目资源。

      4. 单击创建Max Compute集群，选择刚创建的配额组和任务云账号，MaxCompute项目之间默认是互相隔离的空间。

   2. 创建DataWorks工作空间。

      DataWorks一站式数据管理开发的工具，可以对MaxCompute大数据项目的数据进行开发，需要创建DataWorks工作空间并与MaxCompute项目进行关联。

      1. 登录Apsara Uni-manager运营控制台，在上方导航栏选择产品>大数据>DataWorks。

      2. 首先，单击全部产品>组织管理，进入后单击创建工作空间，关联MaxCompute项目。

   3. 创建工作空间业务流程。

      1. 创建完成之后，单击进入工作区，进入工作空间工作区，单击新建业务流程，在当前业务流程可以进行数据集成、数据开发等操作。

2. 大数据计算异常检测和恢复。

   1. 创建大数据查询任务。

      1. 在DataWorks页面，单击新建>ODPS SQL，创建表test2并插入数据。

      2. 进入DataWorks页面，在左侧导航栏选择数据开发>新建>ODPS SQL，查询数据表中的数据。

      3. 单击右侧调度配置，设置重跑属性、出错自动重跑次数、出错自动重跑间隔。

      4. 单击上方提交按钮进行提交。

      5. 单击右上方运维中心查看提交的任务。可以查看周期任务属性详情。

      6. 右键单击test2任务，单击测试进行任务运行测试。

      7. 单击查看日志可以查看到任务运行日志。

      8. 查看到任务运行情况，可以正常查询表的数据，任务运行正常。

   2. 任务异常自动检测和恢复。

      1. 进入DataWorks页面，在左侧导航栏单击数据开发>新建>ODPS SQL，删除表test2。

      2. 右键单击test2任务，单击测试进行任务运行测试。

      3. 单击查看日志可以查看到任务运行日志。

      4. 由于test2表被删除，所以查询任务报错，无法解析到表test2。

      5. 按照上文步骤重新创建表test2并插入数据。

      6. 任务自动检测异常进行重试并恢复正常，单击右上角刷新按钮后查看运行日志，可以查询到正确结果。