MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover、重试等均有一套行之有效的处理管理机制。

MaxCompute SQL作为分布式数据处理的主要入口,为快速方便处理/存储 EB级别的离线数据提供强有力的支持。随着大数据业务的不断扩展,新的数据使用场景在不断产生,在这样的背景下,MaxCompute计算框架也在不断的演化,原来主要面对内部特殊格式数据的强大计算能力,正一步步的开放给不同的外部数据。

现阶段MaxCompute SQL面对的主要是以cfile列格式,存储在内部MaxCompute表格中的结构化数据。而对于 MaxCompute表外的各种用户数据(包括文本以及各种非结构化的数据),需要首先通过各种工具导入MaxCompute表,然后进行计算。数据导入的过程,具有较大的局限性。以OSS为例子,想要在MaxCompute中处理OSS上的数据,通常有以下两种做法:
  • 通过OSS SDK或者其他工具从OSS下载数据,然后再通过MaxCompute Tunnel将数据导入表里。
  • 写UDF,在UDF里直接调用OSS SDK访问OSS数据。
但这两种做法都有不足之处:
  • 第一种需要在MaxCompute系统外部做一次中转,如果OSS数据量太大,还需要考虑如何并发来加速,无法充分利用 MaxCompute大规模计算的能力。
  • 第二种通常需要申请UDF网络访问权限,还要开发者自己控制作业并发数和数据如何分片的问题。

本节将介绍一种外部表的功能,支持旨在提供处理除了MaxCompute现有表格以外的其他数据的能力。在这个框架中,通过一条简单的DDL语句,即可在MaxCompute上创建一张外部表,建立MaxCompute表与外部数据源的关联,提供各种数据的接入和输出能力。创建好的外部表可以像普通的MaxCompute表一样使用(大部分场景),充分利用MaxCompute SQL的强大计算功能。

说明 使用外部表功能,外部表的数据不会复制一份放在MaxCompute并带来存储费用。

外部表当前仅支持全量搜索,不支持列剪裁。

这里的各种数据涵盖两个维度:

多样的数据存储介质:插件式的框架可以对接多种数据存储介质,比如OSS、OTS。

多样的数据格式:MaxCompute表是结构化的数据,而外部表可以不限于结构化数据。

  • 完全无结构数据,比如图像、音频、视频文件、raw binaries等。
  • 半结构化数据,比如csv、tsv等隐含一定schema的文本文件。非cfile的结构化数据,比如orc/parquet文件,甚至 hbase/OTS数据。
我们将通过一些示例,帮助您深入了解非结构化数据的处理: