全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
E-MapReduce

Spark + OSS

更新时间:2017-06-07 13:26:11

Spark + OSS

Spark 接入 OSS

当前E-MapReduce支持MetaService服务,支持用户在E-MapReduce环境免AK访问OSS数据源。旧的显式写AK和Endpoint方式也支持,但需要注意OSS Endpoint请使用内网域名,所有的Endpoint可以参考 OSS Endpoint

下面这个例子演示了Spark如何免AK从OSS中读入数据,并将处理完的数据写回到OSS 中。

  1. val conf = new SparkConf().setAppName("Test OSS")
  2. val sc = new SparkContext(conf)
  3. val pathIn = "oss://bucket/path/to/read"
  4. val inputData = sc.textFile(pathIn)
  5. val cnt = inputData.count
  6. println(s"count: $cnt")
  7. val outputPath = "oss://bucket/path/to/write"
  8. val outpuData = inputData.map(e => s"$e has been processed.")
  9. outpuData.saveAsTextFile(outputPath)

附录

示例代码请看:

本文导读目录