Tez

Tez是Apache构建在Hadoop之上的支持分布式DAG(Directed Acyclic Graph)的计算框架,支持通过复杂的DAG描述并处理大数据任务。

背景信息

Tez主要使用在Apache Hive中,作为Hive的一种运行时引擎,可以优化Hive SQL的查询引擎。与Hive On MR(MapReduce)相比,Hive On Tez具有更好的查询性能和稳定性。

Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示:Hive-MR-Tez

Tez的详细信息,请参见Apache TEZ

开启Tez引擎

Hive支持使用Tez引擎执行SQL任务,在执行任务前您可以按照如下操作手动开启Tez引擎。

  1. 进入集群服务页面。

    1. 登录EMR on ECS

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. EMR on ECS页面,单击目标集群操作列的集群服务

  2. 集群服务页面,单击Hive服务区域的配置

  3. 修改并保存配置。

    1. 在搜索框中输入hive.execution.engine参数。

    2. 修改hive.execution.engine的值为tez,单击保存

    3. 在弹出的对话框中,输入执行原因,单击保存

  4. 重启Hive。

    1. 集群服务页面,选择右上角的更多操作 > 重启

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

访问Tez Web UI

在E-MapReduce控制台的访问链接与端口页面,单击TEZ UI所在行的链接,即可访问Tez Web UI。

访问Tez Web UI的详情,请参见访问链接与端口