本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。

环境配置要求

  • 客户端ECS与服务端(Presto和DLA Presto)处于同一地域、同一可用区。本例中为华东1(杭州)可用区I。
  • 客户端与服务端的网络类型均为VPC网络。
  • 开源自建的Presto使用社区0.228版本。由于社区版本的Presto不支持访问OSS,需要您做如下修改来支持访问OSS数据源:
    1. 下载OSS Jar包,解压后复制到Presto的libplugin/hive-hadoop2这两个目录下面。
    2. 在Presto的etc/core-site.xml中增加如下配置:
          <property>
              <name>fs.oss.accessKeyId</name>
              <value>your ak</value>
          </property>
      
          <property>
              <name>fs.oss.accessKeySecret</name>
              <value>your sk</value>
          </property>
      
          <property>
              <name>fs.oss.credentials.provider</name>
              <value></value>
          </property>
      
          <property>
              <name>fs.oss.endpoint</name>
              <value>oss-cn-hangzhou-internal.aliyuncs.com</value>
          </property>
      
          <property>
              <name>fs.oss.impl</name>
              <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
          </property>
  • 开源Presto集群配置如下:
    配置名称配置要求
    Worker节点规格ecs.hfg6.4xlarge(16核64 GB)
    Worker节点数量15
    Coordinator节点规格ecs.hfg6.4xlarge(16核64 GB)
  • DLA使用256核1024 GB规格的虚拟集群。
  • 客户端ECS使用ecs.hfg6.4xlarge(16核64 GB)规格的机型。