DLF数据探索快速入门-淘宝用户行为分析

第一步：开通DLF和OSS服务

1. 登录数据湖构建控制台。

2. 开通DLF服务及其依赖OSS服务，并完成授权。（如已开通可直接跳过）。

   1. 若之前未开通过DLF服务，会提示用户开通服务。单击免费开通数据湖构建。

   2. 开通服务后，返回DLF控制台页面。会提示开通OSS服务，以及授予DLF访问依赖数据源的权限。单击开通，完成OSS开通及授权。

3. 开通完成后，可进入DLF控制台主页。

第二步：将需要分析的数据文件上传至OSS

1. 下载样例代码，放在本地磁盘。

   解压后得到文件夹：user_behavior_data，包含item和user两个文件夹，里面分别包含了各自的CSV数据文件。本次分析主要集中在user文件中，数据内容如下。

   user_id,item_id,behavior_type,user_geohash,item_category,time
   98047837,232431562,1,,4245,2014-12-06 02
   97726136,383583590,1,,5894,2014-12-09 20
   98607707,64749712,1,,2883,2014-12-18 11
   98662432,320593836,1,96nn52n,6562,2014-12-06 10
   98145908,290208520,1,,13926,2014-12-16 21
   93784494,337869048,1,,3979,2014-12-03 20
   94832743,105749725,1,,9559,2014-12-13 20
   95290487,76866650,1,,10875,2014-11-27 16
   96610296,161166643,1,,3064,2014-12-11 23
   100684618,21751142,3,,2158,2014-12-05 23
   100509623,266020206,3,tfvomgk,4923,2014-12-08 17
   101781721,139144131,1,9rgt162,3424,2014-12-13 21
   103891828,255365467,1,96sjmho,552,2014-12-01 13
   101260672,212072908,1,95q0is4,10984,2014-12-12 11

2. 将解压后的user_behavior_data文件夹上传至OSS。详情请参见简单上传。

   上传后目录结构中，item和user为两个表的数据文件夹。

   说明

   需删除文件夹中的.DS_Store文件。

第三步：在DLF上抽取元数据

1. 登录数据湖构建控制台。

2. 创建数据库。

   1. 在左侧菜单栏，选择元数据 > 元数据管理。

   2. 单击数据库页签，选择目标数据目录，单击新建数据库。

   3. 配置以下数据库信息，单击确定。

      • 所属数据目录：选择所属数据目录。

      • 数据库名称：：输入数据库名称。

      • 数据库描述：可选，输入数据库描述。

      • 选择路径：选择上一步中存有用户行为分析数据user_behavior_data的OSS路径。

   4. 数据库创建成功。

      元数据管理页面的数据库页签中，dlf_demo数据目录下显示数据库default和demo_db，可通过操作列查看对应的表、函数或进行编辑和删除。

3. 进行DLF数据抽取。

   1. 在左侧导航栏，单击元数据 > 元数据抽取。

   2. 在元数据抽取页面，单击新建抽取任务。参数配置详情请参见元数据抽取。

   3. 填写抽取源相关配置，单击下一步。

      配置示例：抽取任务名称设置为dif_demo_extract，OSS路径选择目标数据路径（如oss://<Bucket名称>/dif/user_behavior_data/），解析格式选择csv。在csv文件配置区域，字段分隔符选择逗号(,)，表头发现选择首行为表头，引用标识选择英文单引号(')。

   4. 选择要使用的目标数据库，单击下一步。

      在 设置目标信息 页面，选择 所属数据目录（例如 dlf_demo）和 目标数据库（例如 demo_db），按需填写 目标数据表前缀。在 抽取任务发现表字段更新时 中选择处理策略（如 忽略更新，不修改任何表）；在 如何处理OSS中发现已删除对象 中选择处理策略（如 忽略更新,不删除任何表）。完成后单击 下一步。

   5. 设置抽取任务信息。

      • RAM 角色：默认为开通阶段已经授权的“AliyunDLFWorkFlowDefaultRole”。

      • 执行策略：选择手动执行。

      • 抽取策略：选择全量抽取。扫描全量数据文件，在数据规模比较大时，作业消耗时间长，抽取结果更准确。

   6. 核对信息后，单击保存并立即执行。

      确认页面分为三个区块：数据源信息（包括抽取任务名称、OSS路径、解析格式等）、目标信息（包括所属数据目录、目标数据库等）和任务配置（包括RAM角色、抽取策略、执行策略等）。

   7. 系统会跳转到元数据抽取列表页面，新建的任务开始创建并自动运行。在数据规模比较大时，作业消耗时间长。

      待任务运行成功后，鼠标移到状态栏的问号图标，可看到已经成功创建了两张元数据表。

      浮层显示抽取成功的两张表分别为 demo_db.item 和 demo_db.user。

4. 查询数据表信息。

   1. 单击浮层中的数据库，单击表列表页签，可查看该库中相关的表信息。

      demo_db 数据库的 表列表 中显示 item 和 user 两张表，表格式均为 CSV，数据目录ID为 dlf_demo，存储位置分别对应 OSS 上的 dlf/user_behavior_data/item 和 dlf/user_behavior_data/user 路径。

   2. 单击表名，查看并确认抽取出来的表结构是否符合预期。

      本示例中，数据表 user 的表类型为 EXTERNAL_TABLE，所属数据库为 demo_db，存储格式为 CSV。普通列包含6个字段：user_id(int)、item_id(int)、behavior_type(int)、user_geohash(string)、item_category(int)、time(string)，表结构与预期一致即可。

      表 item 的基本信息显示：表类型为 EXTERNAL_TABLE，所属数据库 demo_db，存储位置为 oss://xxx/dlf/user_behavior_data/item，存储格式为 CSV，SerializationLib 为 org.apache.hadoop.hive.serde2.OpenCSVSerde。普通列包含 3 个字段：item_id(int)、item_geohash(string)、item_category(int)。

第四步：用户行为数据分析

数据分析的过程主要分为三步：

1. 预览并检查数据信息。

2. 简单的数据清洗。

3. 进行用户活跃度、漏斗模型和商品热度分析。

SET spark.sql.legacy.timeParserPolicy=LEGACY;
-- 预览数据
SELECT * FROM `demo_db`.`user` limit 10;
SELECT * FROM `demo_db`.`item` limit 10;
-- 用户数
SELECT COUNT(DISTINCT user_id) FROM `demo_db`.`user`;
-- 商品数
SELECT COUNT(DISTINCT item_id) FROM `demo_db`.`item`;
-- 行为记录数
SELECT COUNT(*) FROM `demo_db`.`user`;

CREATE TABLE `demo_db`.`user_log` 
USING PARQUET
PARTITIONED BY (date)
AS SELECT 
    user_id, 
    item_id,
    CASE 
      WHEN behavior_type = 1 THEN 'click'
      WHEN behavior_type = 2 THEN 'collect'
      WHEN behavior_type = 3 THEN 'cart'
      WHEN behavior_type = 4 THEN 'pay'
    END AS behavior, 
    item_category, 
    time,
    date_format(time, 'yyyy-MM-dd') AS date,
    date_format(time, 'H') AS hour,
    date_format(time, 'u') AS day_of_week
  FROM `dlf_demo`.`user`;