OSS

操作步骤

1. 配置DLA访问OSS的权限。
   • 如果您使用的是阿里云主账号访问OSS，则默认您拥有该账号下所有OSS数据以及DLA OSS表的访问权限，无需配置，可直接使用。
   • 如果您使用RAM子账号访问OSS并提交代码包作业，需要配置代码包和Spark代码访问OSS的权限。具体操作请参见细粒度配置RAM子账号权限。
   • 如果您使用Spark SQL访问DLA OSS表的数据，需要确保您的RAM子账号关联了DLA账号，并且DLA账号拥有对应表的访问权限。如果您的RAM子账号未关联DLA账号，请进行关联操作，具体操作请参见DLA子账号绑定RAM账号。DLA账号对于表的访问权限，您可以登录DLA控制台，在Serverless Presto > SQL执行页面，使用GRANT或REVOKE语法进行操作。
2. 配置Spark OSS Connector。
   配置了OSS访问权限之后，您就可以使用Spark来访问OSS数据了。在Spark的作业配置文件中，您需要添加配置项“spark.dla.connectors” : “oss”。DLA平台内置了Spark OSS Connector相关的实现，默认不生效，需要配置该参数令其生效。如果您有Spark OSS Connector的其他实现方式，您不需要配置该参数，您只需提交您自己的实现Jar包，并添加相应的配置即可。
3. 访问OSS数据。
   您可以通过以下两种方式访问OSS数据：

   • 通过提交Spark SQL语句的方式来访问OSS数据，具体操作请参见Spark SQL。作业示例配置如下所示：

     {
         "sqls": [
             "select * from `1k_tables`.`table0` limit 100",
             "insert into `1k_tables`.`table0` values(1, 'test')"
         ],
         "name": "sql oss test",
         "conf": {
             "spark.dla.connectors": "oss",
             "spark.driver.resourceSpec": "small",
             "spark.sql.hive.metastore.version": "dla",
             "spark.executor.instances": 10,
             "spark.dla.job.log.oss.uri": "oss://test/spark-logs",
             "spark.executor.resourceSpec": "small"
         }
     }

   • 通过Java、Scala、Python代码访问OSS数据。下面以Scala为例进行说明：

     {  
       "args": ["oss://${oss-buck-name}/data/test/test.csv"],
       "name": "spark-oss-test",
       "file": "oss://${oss-buck-name}/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
       "className": "com.aliyun.spark.oss.SparkReadOss",
       "conf": {
         "spark.driver.resourceSpec": "medium",
         "spark.executor.resourceSpec": "medium",
         "spark.executor.instances": 2,
         "spark.dla.connectors": "oss"
       }
     }

     说明 SparkReadOss对应的源码可以参考DLA Spark OSS demo。

启用OSS数据写入性能优化

当您使用自建HiveMetaStore或者DLA元数据服务访问OSS时，社区版Spark HiveClient的rename操作比较低效，DLA对此进行了优化。您只需要将参数spark.sql.hive.dla.metastoreV2.enable设置为true即可启用这项优化。示例如下：

{
  "args": ["oss://${oss-buck-name}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${oss-buck-name}/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.WriteParquetFile",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.dla.connectors": "oss",
    "spark.sql.hive.dla.metastoreV2.enable": "true"
  }
}

OSS Connector数据写入性能优化

OSS Connector数据写入性能优化功能是DLA Spark团队基于OSS分片上传功能，针对Spark写入数据到OSS过程中大量调用OSS API导致写入性能差的问题，实现的性能优化提升。在典型场景下，性能可提升1~3倍。

spark.dla.connectors = oss;  //启用DLA Spark内置的OSS connector。
spark.hadoop.job.oss.fileoutputcommitter.enable = true;  //开启性能优化开关。

{
  "args": ["oss://${oss-buck-name}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${oss-buck-name}/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.WriteParquetFile",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.dla.connectors": "oss",
    "spark.hadoop.job.oss.fileoutputcommitter.enable": true
  }
}