E-MapReduce本地盘实例大规模数据集测试

应用范围

• 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。
• 需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行大数据分析和性能对比测试的用户。

最佳实践概述

为了满足大数据场景下的存储需求，阿里云在云上推出了本地盘D1机型。本地盘D1机型使用本地盘而非云盘作为存储，解决了之前使用云盘的多份冗余数据导致的高成本问题。同时，在使用本地盘D1机型时，数据的传输不需要全部通过网络，因此该场景提供了与磁盘相同的吞吐能力，可发挥Hadoop就近计算的优势。

阿里云E-MapReduce产品针对本地盘机型，推出了一整套的自动化运维方案，帮助阿里云用户方便可靠地使用本地盘机型。该运维方案既能让用户无须关心整个运维过程，又能保证数据高可靠和服务高可用。

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。