创建E-MapReduce集群后,您可以在E-MapReduce数据开发中创建项目。数据开发是可编程、调度和监控的工作流平台,基于有向无环图(DAG),可以定义一组有依赖的作业,按照依赖依次执行。您可以通过控制台管控作业调度任务,并监控各类作业的运行状态,以便管理和运维工作流。

注意 如果您的EMR高安全集群对接的是外部的MIT Kerberos,则无法使用数据开发功能。
E-MapReduce数据开发的具体功能包括:
  • 数据开发项目管理:为项目关联集群资源和添加项目成员,详情请参见项目管理
  • 大数据作业开发和编辑:支持Hive、HiveSQL、MapReduce、Spark和Shell等作业类型的开发,详情请参见作业编辑
  • 工作流开发和调度:通过拖拽构建工作流,并设置时间调度策略和工作流之间依赖,详情请参见工作流编辑
  • 临时查询:支持HiveSQL、SparkSQL、Spark和Shell四种类型的临时查询作业,详情请参见临时查询
  • 运行记录:查看任务、工作流的运行记录和日志,可以重新运行失败的作业和工作流,并可以查看项目成员在项目中的操作历史,详情请参见运维中心