Capacity Scheduler称为容量调度器,是Apache YARN内置的调度器,E-MapReduce YARN使用Capacity Scheduler作为默认调度器。Capacity Scheduler是一种多租户、分层级的资源调度器,调度器中的子队列是通过设置Capacity来划分各个子队列的使用情况。
开启Capacity Scheduler
注意 开启集群资源队列后,YARN组件配置中的capacity-scheduler配置区域将处于冻结状态,相关已有配置将会同步到集群资源管理页面中。如果需要继续在YARN服务的配置页面通过XML的方式设置集群资源,则需先在集群资源管理中关闭YARN资源队列。
配置Capacity Scheduler
开启YARN资源队列后,可以执行以下步骤配置Capacity Scheduler。
切换调度器类型
开启YARN资源队列后,可以执行以下步骤切换调度器类型。
提交作业
- 提交作业时,如果不指定提交队列,会默认提交到default队列。
- 指定队列时应选择子节点,不能将任务提交到父队列。
- 提交到指定队列时需通过mapreduce.job.queuename来指定队列,示例如下。
`hadoop jar /usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi -Dmapreduce.job.queuename=test 2 2`
在文档使用中是否遇到以下问题
更多建议
匿名提交