MaxCompute2.0新增了一套非结构化数据处理框架,支持通过外部表的方式直接访问OSS、OTS等。Studio对此提供了一些代码模板方便您快速进行非结构化数据查询开发。

编写StorageHandler/Extractor/Outputter

  1. 创建MaxCompute Java Module(在examples目录下的unstructured文件夹中有示例代码供您参考)。
  2. 在单击Module的源码目录(即src > main),选择new > java,选择MaxCompute Java
  3. Name后文本框中输入包名.类型,如myun.MyExtractor,选择类型为Extractor,单击OK
  4. 代码框中模板已自动填充框架代码,只需要自行编写需要的逻辑代码即可。
说明 按照上述步骤完成StorageHandler/Outputter的编写。

单元测试

请参考examples目录下的例子编写unit test,测试编写完成的Extractor/Outputter。

打包上传

StorageHandler/Extractor/Outputter完成后,请参考打包、上传和注册将已写好的Java程序打成Jar包,并作为Resource上传到MaxCompute服务端。

创建外部表

  1. 右键单击项目目录下的scripts,选择new > MaxCompute SQL 脚本
  2. Script Name后输入SQL脚本名称,MaxCompute project中选择脚本要执行的MaxCompute project,单击OK
  3. 在编辑器中输入创建外表语句。
  4. 输入查询语句,单击运行按钮查询数据。