本文以分析公共数据集的数据示例,为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤,您也可以使用付费资源,操作类似。
教程简介
阿里云DataWorks基于多种大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更多建模、集成、开发、治理等全链路的数据能力可前往官方文档进行查看。
我能学到什么
熟悉DataWorks的基础操作界面,如登录控制台、创建数据源、进入子功能模块页面。
学习如何在DataWorks进行简单的大数据分析操作,了解DataWorks的数据分析能力。
操作难度 | 低 |
所需时间 | 30分钟 |
使用的阿里云产品 |
|
所需费用 |
|
准备环境和资源
开通大数据开发治理平台DataWorks。
访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)、账号注册(尚无阿里云账号)或实名认证(根据试用产品要求完成个人实名认证或企业实名认证)。
成功登录后,即可进入申请免费试用DataWorks页面,单击大数据开发治理平台 DataWorks产品的立即试用。
在弹出的购买试用DataWorks产品的面板上选择开通地域为华东2(上海),勾选服务协议后单击确认订单并支付。
准备MaxCompute环境。
本教程还需使用MaxCompute产品,您也可以在免费试用中申请免费额度的MaxCompute资源包进行本教程的操作,申请操作请前往申请免费试用MaxCompute页面,MaxCompute免费资源包的支持地域及免费额度介绍请参见MaxCompute新用户免费试用额度。
【说明】:如果您此前已申请过MaxCompute的免费试用,可登录MaxCompute控制台后,查看华东2(上海)地域是否已开通,如果界面提示上海地域还未开通,您可单击欢迎界面的立即开通MaxCompute进行开通。
如果您不符合免费使用MaxCompute规则,您可以开通按量计费版本的MaxCompute,计费详情请参见MaxCompute计费概述。
创建MaxCompute项目
登录MaxCompute控制台,在左上角选择地域,本教程使用的地域为华东2(上海)。单击左侧导航项目管理,在项目管理列表页面单击新建项目。
在弹出的新建项目配置页面中配置项目信息,核心配置参数如表所示。
参数
说明
项目名称
自定义项目名称。本教程设置为doc_test_000。
说明项目名称需全局唯一,如果界面提示您项目名称已存在,您可根据提示修改项目名称。
计算资源付费类型
本教程选择:按量付费。
重要您通过免费试用选购的资源抵扣包仅可用于抵扣后付费资源消耗,本教程选择“按量付费”。
默认Quota
用于实现计算资源分配。本教程选择:默认后付费Quota。
单SQL消费限制
本教程不设置。本参数为单SQL消费的最高阈值。单位:扫描量(GB)*复杂度。非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警。
数据类型
MaxCompute数据类型包含1.0数据类型、2.0数据类型和Hive兼容类型。本教程选择:2.0数据类型。
是否加密
指定创建的MaxCompute项目是否需要开启数据加密功能。更多数据加密信息,请参见存储加密。
本教程选择:不加密。
完成配置后单击确定,完成项目创建。
新增MaxCompute数据源
登录DataWorks控制台,在左上角选择地域,本教程使用的地域为华东2(上海)。单击左侧导航工作空间列表,在工作空间列表页面找到需要绑定MaxCompute项目的工作空间,本教程使用的是工作空间为默认工作空间,点击操作列管理,进入管理中心页面。
在管理中心页面,单击左侧导航创建MaxCompute数据源。
后,在页面上单击新增数据源,然后在弹窗内选择MaxCompute数据源,配置MaxCompute数据源详情请参见完成配置后单击完成创建,完成数据源的增加。
数据查询体验
本教程中使用阿里电商数据集(bigdata_public_dataset.commerce.commerce_ali_e_commerce),该数据集来源于天池阿里移动推荐算法挑战赛,拥有100万条脱敏后的行为数据(包括点击、购买、加购、喜欢)。
DataWorks为您准备了丰富的数据集,可直接体验DataWorks的开发与分析能力,简单的SQL查询操作界面、轻松上手数据分析,还可以生成分析结果并分享给同事。
登录并进入DataWorks控制台,在左上角选择地域,本教程使用的地域为华东2(上海)。
单击左侧导航栏的
,单击阿里电商数据集,进入阿里电商数据集详情页。单击右上角的开始分析,选择您需要体验的引擎类型。本教程使用的是MaxCompute。
在新打开的DataWorks SQL查询页面中,会创建一个新的SQL查询页面,并显示公共数据集的默认显示SQL。单击SQL查询文件右上角的
,在弹框中设置工作空间及引擎信息。
完成设置后,您即可在SQL文件中进行数据查询命令开发,完成后可单击SQL查询文件操作栏中的运行按钮,运行成功后,在SQL文件下方会显示查询结果。
本教程为您提供了一些查询示例SQL命令,您可参见下文的附录:数据查询SQL示例,进行数据查询分析。
增强分析-创建卡片
单击查询结果区域左侧栏的
,DataWorks会默认为您生成一个可视化的图表,将表格展现的SQL查询结果数据通过可视化的方式展现出来。
说明首次操作时你需要先单击我要体验,并根据界面提示开启增强分析对应的功能。
如系统默认生成的可视化图表,不符合您对于数据可视化的预期,您可单击图表右上方的
,进入图表编辑页面。本教程以修改图表横纵坐标标题为例,为您示例编辑图表展示的操作。
单击图表右上方的
,即可将该结果持久化保存下来并分享。
保存卡片后,您可以单击数据分析页面最左侧导航栏中的
,查看当前已保存的所有卡片。
增强分析-创建报告
数据分析结果保存在DataWorks-卡片中后,您可以通过增强分析-报告的功能,将卡片组织为有图表、有描述、有逻辑的分析报告,便于一键将分析报告分享给伙伴、同事。
单击数据分析页面左侧导航栏中的
,进入报告页面。
单击右上角的创建报告,根据界面提示选择需要生成报告的数据分析结果卡片。
配置数据分析报告页面内容与主题风格,完成后单击右上角的创建,完成报告创建。
返回报告列表页面后,您可以将鼠标悬浮到需要分享给其他人的报告上,单击右上角的分享按钮,根据界面提示即可获得分享链接。后续可将分享链接发送给分享对象。
您可单击此处查看分析报告分享链接示例。
附录:数据查询SQL示例
用户购物行为时间趋势
SET odps.namespace.schema = TRUE; SELECT CAST(SUBSTR(behavior_time,12) AS BIGINT) AS 时间段 ,CASE WHEN behavior_type = '1' THEN '商品页浏览' WHEN behavior_type = '3' THEN '加入购物车' WHEN behavior_type = '4' THEN '购买成功' ELSE behavior_type END AS 用户操作 ,COUNT(DISTINCT user_id) AS 用户数 FROM bigdata_public_dataset.commerce.commerce_ali_e_commerce WHERE behavior_type IN ('1','3','4') GROUP BY 时间段 ,用户操作 order by 时间段 asc;
不同时间段的页面访问次数
SET odps.namespace.schema = true; set odps.task.sql.sqa.enable=false; SELECT CASE WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 0 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 3 THEN '00点-03点' WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 4 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 7 THEN '04点-07点' WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 8 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 11 THEN '08点-11点' WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 12 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 15 THEN '12点-15点' WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 16 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 19 THEN '16点-19点' WHEN CAST(SUBSTR(behavior_time,12) AS BIGINT) >= 20 AND CAST(SUBSTR(behavior_time,12) AS BIGINT) <= 23 THEN '20点-23点' END AS 时间段 ,COUNT(1) AS 页面访问次数 FROM bigdata_public_dataset.commerce.commerce_ali_e_commerce WHERE behavior_type = '1' GROUP BY 时间段 ORDER BY 时间段 ASC LIMIT 100;
TOP10热销商品品类
SET odps.namespace.schema = true; SELECT item_category as 商品品类ID,COUNT(DISTINCT item_id) AS 商品数量 FROM bigdata_public_dataset.commerce.commerce_ali_e_commerce WHERE behavior_type = '4' group by item_category order by 商品数量 desc limit 10;
清理
完成教程后,请及时清理测试数据和试用资源。
MaxCompute资源清理。
本教程使用了MaxCompute计算引擎,在体验完成本教程后,如果后续您不再使用的话,请及时将MaxCompute资源释放,否则MaxCompute会继续计费。释放操作请参见资源释放。
DataWorks资源清理。
本教程使用了免费的基础版DataWorks的SQL分析模块,基础版DataWorks的SQL分析任务运行结束后不会收取其他费用,如果您使用了DataWorks的其他功能模块,使用了DataWorks的资源组运行了其他周期任务,请及时将DataWorks周期任务暂停,避免造成资源组的浪费。
您可以进入运维中心的周期任务运维页面暂停周期任务,操作详情请参见查看并管理周期任务。