本文列举了MaxCompute的用户经常咨询和关注的一些问题,帮助您快速了解MaxCompute。

使用MaxCompute需要具备什么专业技能?

MaxCompute支持多种计算模型数据通道,满足多场景需求。所以您只需要会使用SQL、Python、Java等开发语言就可以使用MaxCompute进行数据分析。

如何理解开源与云原生的大数据技术与产品?

推荐您阅读从开源到云原生,你不得不知的大数据实战

MaxCompute作为大数据平台,对业务数据是否有好的监控手段?

MaxCompute仅支持通过DataWorks的数据质量功能配置数据监控规则。无法监控外部数据源的字段变化。

MaxCompute的项目发挥什么作用?

项目(Project)是MaxCompute的基本组织单元,类似于传统数据库的Database或Schema的概念,是进行多用户隔离和访问控制的主要边界。项目中包含多个对象,例如表(Table)、资源(Resource)、函数(Function)和实例(Instance)等。一个用户可以同时拥有多个项目的权限。通过安全授权,可以在一个项目访问另一个项目中的对象。

如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?

您可以进入AccessKey管理页面,创建或查询AccessKey。

现有账号的AccessKey被禁用,创建一个新的AccessKey,会对之前AccessKey创建的周期性任务有影响吗?

有影响。如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。请谨慎操作。

MaxCompute建表默认有压缩功能吗?可以指定压缩格式和存储格式吗?

MaxCompute默认自动压缩3~5倍,默认存储格式为AliORC,不支持自定义。

MaxCompute的表格类型有几种,分别是什么?

MaxCompute的表格有两种类型:内部表和外部表(MaxCompute 2.0版本开始支持外部表)。
  • 对于内部表,所有的数据都存储在MaxCompute中,表中列的数据类型可以是MaxCompute支持的任意一种数据类型。
  • 对于外部表,MaxCompute并不真正持有数据,表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息,您可以通过MaxCompute的外部表机制处理OSS或OTS上的非结构化数据,例如视频、音频、基因、气象、地理信息等。

如果想使用MaxCompute的自定义函数(UDF)或MapReduce功能需要依赖什么资源来完成?

  • UDF:您编写UDF后,需要将编译好的JAR包以资源的形式上传到MaxCompute。运行此UDF时,MaxCompute会自动下载这个JAR包,获取您的代码来运行UDF,无需您干预。上传JAR包的过程就是在MaxCompute上创建资源的过程,JAR包是MaxCompute的一种资源。
  • MapReduce:您编写MapReduce程序后,需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时,MapReduce框架会自动下载这个JAR包,获取您的代码。

您同样可以将文本文件以及MaxCompute中的表作为不同类型的资源上传到MaxCompute,您可以在UDF及MapReduce的运行过程中读取、使用这些资源。

MaxCompute常见错误信息如何理解,怎么定位问题?

MaxCompute的常见报错信息编号有规范定义,格式为:异常编号:通用描述 - 上下文相关说明。其中SQL、MapReduce、Tunnel的错误信息是不一样的。更多错误信息,请参见错误码概述