引擎运维

使用限制

• 仅支持对DataWorks中的EMR引擎作业进行运维，并且您需要提交工单升级EMR执行包的版本，升级后才能正常获取运维数据。

• 若您未将EMR集群注册至DataWorks工作空间，则该工作空间的运维中心左侧导航栏不会显示引擎运维。

• 已购买的独享调度资源组需提交工单联系技术支持人员进行升级，如未升级，则引擎运维界面部分字段会展示为中划线（-）。

注意事项

部分EMR组件任务运行时支持复用YARN应用程序（即YARN Application），复用后，在DataWorks不同功能模块运行该任务，引擎运维页面中的作业ID（即Application ID）相同。

• 引擎运维页面仅会展示首次在DataWorks运行EMR作业时生成的Application ID。

• EMR作业对应的DataWorks实例运行完成（即成功或失败）后，YARN Application可能还会处于运行中（RUNNING）状态。例如，Kyuubi通常由会话闲置超时时间kyuubi.session.engine.idle.timeout决定YARN Application是否会继续保留一段时间，kyuubi.session.engine.idle.timeout配置为PT30M，表示EMR Kyuubi作业运行完成后，YARN Application仍会保留30分钟。您可进入EMR on ECS控制台，查看对应服务的配置。

前提条件

已将EMR集群注册至DataWorks工作空间，且在DataWorks中运行相关EMR任务。

1. 注册集群：请参见注册EMR集群至DataWorks。

2. 运行EMR任务：请参见DataWorks On EMR使用说明。

进入引擎运维

1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据建模与开发 > 运维中心，在下拉框中选择对应工作空间后单击进入运维中心。

2. 在左侧导航栏，选择其他 > 引擎运维 > E-MapReduce，进入E-MapReduce引擎运维页面。

查看引擎作业

E-MapReduce引擎运维页面，为您展示了当前地域所有DataWorks工作空间中创建的E-MapReduce作业，您可查看作业详情并按需执行相关运维操作。

• 筛选指定E-MapReduce作业（区域1）

  在E-MapReduce引擎运维页面的顶部菜单栏，您可根据不同条件（例如，作业ID、作业类型）进行筛选，快速搜索目标作业。

  说明

  • 引擎运维页面默认为您展示最近三天的引擎实例数据。

  • DataWorks实例ID仅支持使用运维中心的实例ID搜索。通过作业ID或DataWorks实例ID搜索时，仅支持查询近7天的作业实例。

• 执行E-MapReduce作业相关操作（区域2）

  在该区域，您可查看所选作业的详细信息，并按需执行运维操作。

  功能	描述
  查看作业详情	您可查看E-MapReduce作业的基本信息，包括作业ID、作业状态、运行时间、作业来源、作业所属DataWorks实例等。 作业状态说明如下： NEW：表示作业刚创建。 NEW_SAVING：表示正在保存作业。 SUBMITTED：表示作业已提交执行申请。 ACCEPTED：表示调度程序已接受作业的执行申请。 RUNNING：表示作业正在运行。 说明 如果目标作业长期处于运行状态，您可以手动终止运行目标作业的DataWorks实例任务，防止运行有误的作业长期占用资源，阻塞下游任务。 FINISHED：表示作业已运行结束。 SUCCESSED：表示作业运行成功。 FAILED：表示作业运行失败。如果作业呈现该状态，需及时识别并处理相关报错，以免阻塞下游作业，影响任务的正常运行。您可单击作业ID或所属DataWorks实例ID，进入相应任务详情界面，处理报错。 KILLED：表示作业的执行者或管理员终止了作业的运行。 DataWorks实例ID： 不同E-MapReduce作业所属的DataWorks实例ID可能相同，但如果不同作业的运行开始时间不同，则会认为该作业属于不同的DataWorks实例任务。您可通过作业所属的DataWorks实例ID判断任务是否属于同一个DataWorks实例任务。 说明 部分DataWorks功能模块（例如，数据质量、数据开发、数据分析）触发的任务没有实例ID，平台会展示为中划线（-）。 EMR作业类型：仅支持查看MAPREDUCE及SPARK类型的作业。 运行时间排序：您可对开始时间或结束时间，进行升序或降序排列，直观地查看作业的运行先后顺序及运行时长，了解目标作业的运行情况。 作业来源：为您展示运行E-MapReduce作业的DataWorks功能模块。您可在操作列前往相应模块查看任务详情。 队列使用率（%）：运行当前作业使用的队列容量占比（即运行该任务时，集群资源管理器YARN为队列分配的资源比例）。
  执行实例任务相关操作	终止运行DataWorks实例任务 如果E-MapReduce作业长期处于运行状态，即作业状态显示为RUNNING，您可手动终止运行。该类作业往往是由于运行内部出错，导致作业不能自动终止，防止该作业长时间占用资源，阻塞并影响其他作业的运行，则需要手动将其停止，及时处理相关报错。 终止运行单个作业：单击对应作业操作列的终止运行。 批量终止运行作业：若需终止运行的作业较多，您可勾选目标作业，单击左下角的终止运行对应的DataWorks实例，批量终止作业所在的DataWorks实例任务。 重要 仅空间管理员、运维角色，以及任务责任人可终止运行实例任务。 若多个E-MapReduce作业属于同一个DataWorks实例任务，当终止运行任意E-MapReduce作业时，都会导致DataWorks实例任务的运行状态置为失败。 当前仅支持对运行中的DataWorks实例任务进行终止运行操作。 执行终止运行操作后，目标实例任务的状态将被置为失败。置为失败状态后，当前实例任务会阻塞该任务的下游节点运行。请知悉风险并谨慎操作。 进入功能模块查看任务 单击任务操作列的模块入口（例如，前往数据开发），即可进入触发该实例任务的DataWorks功能模块，查看任务在该模块的运行详情。 说明 数据分析：仅支持文件Owner跳转查看SQL查询文件。 数据开发：前往数据开发界面后，当前工作空间的所有开发人员均可查看该任务，但仅支持任务执行者查看对应任务的历史运行记录。