本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点,并进行大数据基准性能测试。

应用范围

  • 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。
  • 需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行大数据分析和性能对比测试的用户。

最佳实践概述

为了满足大数据场景下的存储需求,阿里云在云上推出了本地盘D1机型。本地盘D1机型使用本地盘而非云盘作为存储,解决了之前使用云盘的多份冗余数据导致的高成本问题。同时,在使用本地盘D1机型时,数据的传输不需要全部通过网络,因此该场景提供了与磁盘相同的吞吐能力,可发挥Hadoop就近计算的优势。

阿里云E-MapReduce产品针对本地盘机型,推出了一整套的自动化运维方案,帮助阿里云用户方便可靠地使用本地盘机型。该运维方案既能让用户无须关心整个运维过程,又能保证数据高可靠和服务高可用。

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能,对用户选择合适的大数据平台产品具有重要的参考价值,TPC-DS逐渐成为了业界公认的大数据系统测试基准。

本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案,来展示如何使用阿里云大数据集群进行性能测试。详情请参见E-MapReduce本地盘实例大规模数据集测试最佳实践
说明 本文的TPC-DS的实现基于TPC-DS的基准测试,并不能与已发布的TPC-DS基准测试结果相比较,本文中的测试并不符合TPC-DS的基准测试的所有要求。