本文列举了MaxCompute的用户经常咨询和关注的一些问题,帮助您快速了解MaxCompute。
- 使用MaxCompute需要具备什么专业技能?
- 如何理解开源与云原生的大数据技术与产品?
- MaxCompute作为大数据平台,对业务数据是否有好的监控手段?
- MaxCompute的项目发挥什么作用?
- 如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?
- 现有账号的AccessKey被禁用,创建一个新的AccessKey,会对之前AccessKey创建的周期性任务有影响吗?
- MaxCompute建表默认有压缩功能吗?可以指定压缩格式和存储格式吗?
- MaxCompute的表格类型有几种,分别是什么?
- 如果想使用MaxCompute的自定义函数(UDF)或MapReduce功能需要依赖什么资源来完成?
- MaxCompute常见错误信息如何理解,怎么定位问题?
使用MaxCompute需要具备什么专业技能?
MaxCompute支持多种计算模型数据通道,满足多场景需求。所以您只需要会使用SQL、Python、Java等开发语言就可以使用MaxCompute进行数据分析。
如何理解开源与云原生的大数据技术与产品?
推荐您阅读从开源到云原生,你不得不知的大数据实战。
MaxCompute作为大数据平台,对业务数据是否有好的监控手段?
MaxCompute仅支持通过DataWorks的数据质量功能配置数据监控规则。无法监控外部数据源的字段变化。
MaxCompute的项目发挥什么作用?
项目(Project)是MaxCompute的基本组织单元,类似于传统数据库的Database或Schema的概念,是进行多用户隔离和访问控制的主要边界。项目中包含多个对象,例如表(Table)、资源(Resource)、函数(Function)和实例(Instance)等。一个用户可以同时拥有多个项目的权限。通过安全授权,可以在一个项目访问另一个项目中的对象。
如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?
您可以进入AccessKey管理页面,创建或查询AccessKey。
现有账号的AccessKey被禁用,创建一个新的AccessKey,会对之前AccessKey创建的周期性任务有影响吗?
有影响。如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。请谨慎操作。
MaxCompute建表默认有压缩功能吗?可以指定压缩格式和存储格式吗?
MaxCompute默认自动压缩3~5倍,默认存储格式为AliORC,不支持自定义。
MaxCompute的表格类型有几种,分别是什么?
- 对于内部表,所有的数据都存储在MaxCompute中,表中列的数据类型可以是MaxCompute支持的任意一种数据类型。
- 对于外部表,MaxCompute并不真正持有数据,表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息,您可以通过MaxCompute的外部表机制处理OSS或OTS上的非结构化数据,例如视频、音频、基因、气象、地理信息等。
如果想使用MaxCompute的自定义函数(UDF)或MapReduce功能需要依赖什么资源来完成?
- UDF:您编写UDF后,需要将编译好的JAR包以资源的形式上传到MaxCompute。运行此UDF时,MaxCompute会自动下载这个JAR包,获取您的代码来运行UDF,无需您干预。上传JAR包的过程就是在MaxCompute上创建资源的过程,JAR包是MaxCompute的一种资源。
- MapReduce:您编写MapReduce程序后,需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时,MapReduce框架会自动下载这个JAR包,获取您的代码。
您同样可以将文本文件以及MaxCompute中的表作为不同类型的资源上传到MaxCompute,您可以在UDF及MapReduce的运行过程中读取、使用这些资源。
MaxCompute常见错误信息如何理解,怎么定位问题?
MaxCompute的常见报错信息编号有规范定义,格式为:异常编号:通用描述 - 上下文相关说明
。其中SQL、MapReduce、Tunnel的错误信息是不一样的。更多错误信息,请参见错误码概述。