全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
MaxCompute

非结构化开发

更新时间:2017-08-08 10:32:47

MaxCompute2.0新增了一套非结构化数据处理框架,支持通过外部表的方式直接访问OSS,OTS等。Studio对此提供了一些代码模板支持,方便用户快速开发。

编写StorageHandler/Extractor/Outputter

  1. 创建MaxCompute Java Module(在examples目录下的unstructured文件夹有示例代码供参考)。
  2. 在module的源码目录即src->main上右键new,选择MaxCompute Java。
  3. 输入包名.类名,如myun.MyExtractor,选择类型Extractor,点击OK。image
  4. 模板已自动填充框架代码,只需要编写自己的逻辑代码即可。
  5. 类似上述步骤可分别完成Outputter和StorageHandler的编写。

打包上传

StorageHandler/Extractor/Outputter写好后,可以参考打包发布将已写好的java程序打成jar包,并作为resource上传到服务端。

创建外部表

  1. 在scripts目录右键 new | MaxCompute Script。image
  2. 输入sql脚本名,Target Project选择脚本将要在哪个MaxCompute project下执行,点击OK。
  3. editor中选择create external table live template,能快速插入创建外部表脚本模板:image然后修改外部表名称,列及类型,StorageHanlder类路径,配置参数,外部路径,jar名等,修改完成后点击运行脚本,创建该外部表。image
  4. 接下来,就可以查询该外部表了,类似:image
本文导读目录