背景信息以及准备工作 - 云原生数据湖分析 DLA

背景信息

DataV数据可视化（简称DataV）旨在让更多的人看到数据可视化的魅力，并帮助非专业的工程师通过图形化的界面轻松搭建具有专业水准的可视化应用。DataV提供了丰富的可视化模板，极大程度满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。与使用传统数据库加DataV构建大屏相比，在绝大部分频率较低的数据刷新业务大屏场景下，DataV+DLA+OSS的方式远比DataV+传统数据库的成本低。

实施方案

实际应用中DataV+DLA+OSS的搭配使用有以下两种方案。

DLA+OSS+DataV

业务应用程序产出的增量数据上传到OSS，通过定时查询，刷新到业务数据大屏中。
LOG+OSS+DLA+DataV

将业务应用程序产出的业务日志采集到日志服务中，通过定时日志投递（最小5分钟延迟）到OSS中，再通过定时查询，刷新到业务数据大屏中。

架构图

上述方案有以下优势：

日志服务（Log Service，简称LOG/原SLS）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。提供日志类数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理/分析能力。LOG强大的日志投递能力，能够从源头对接各种类型的日志格式，并且稳定地将日志投递到指定的位置。
阿里云对象存储服务（Object Storage Service，简称 OSS）低廉的存储成本，能够让您的数据文件存储任意长的时间。
Data Lake Analytics（简称DLA）强大的分析能力，Serverless的架构，按扫描量收费。DLA可以对投递到OSS上的数据按年、按月、按日进行多维度的分区，提高数据的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史数据分析。
DataV中有多种场景模板，解决您的设计难题。提供多种业务模块级别而非图表组件的工具，所见即所得的配置方式，无需编程能力，您只需要通过拖拽，即可创造出专业的可视化应用。创建的可视化应用能够发布分享，没有购买DataV产品的用户也可以访问到应用，作为您对外数据业务展示的窗口。

本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。

前提条件

使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作在OSS中准备测试数据、在DLA中创建OSS Schema和表。

步骤一：在OSS中准备测试数据

开通OSS服务
创建存储空间

上传TPC-H数据集

单击下载TPC-H100MB的数据集，数据集中共有8个数据文件，在OSS中为每个数据文件创建对应的文件夹，并上传数据文件。

上传文件

 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/customer/customer.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H//lineitem/lineitem.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/nation/nation.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/orders/orders.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/part/part.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/partsupp/partsupp.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/region/region.tbl
 http://bucket-name.oss-cn-hangzhou.aliyuncs.com/TPC-H/supplier/supplier.tbl

步骤二：创建OSS Schema

CREATE SCHEMA tpch with DBPROPERTIES(
  LOCATION = 'oss://bucket-name/TPC-H/',
  catalog='oss'
);

步骤三：创建OSS表

nation表

  CREATE EXTERNAL TABLE nation (
      N_NATIONKEY INT, 
      N_NAME STRING,
         N_ID STRING,
      N_REGIONKEY INT, 
      N_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/nation';

lineitem表

  CREATE EXTERNAL TABLE lineitem (
      L_ORDERKEY INT, 
      L_PARTKEY INT, 
      L_SUPPKEY INT, 
      L_LINENUMBER INT, 
      L_QUANTITY DOUBLE, 
      L_EXTENDEDPRICE DOUBLE, 
      L_DISCOUNT DOUBLE, 
      L_TAX DOUBLE, 
      L_RETURNFLAG STRING, 
      L_LINESTATUS STRING, 
      L_SHIPDATE DATE, 
      L_COMMITDATE DATE, 
      L_RECEIPTDATE DATE, 
      L_SHIPINSTRUCT STRING, 
      L_SHIPMODE STRING, 
      L_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/lineitem';

orders表

  CREATE EXTERNAL TABLE orders (
      O_ORDERKEY INT, 
      O_CUSTKEY INT, 
      O_ORDERSTATUS STRING, 
      O_TOTALPRICE DOUBLE, 
      O_ORDERDATE DATE, 
      O_ORDERPRIORITY STRING, 
      O_CLERK STRING, 
      O_SHIPPRIORITY INT, 
      O_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/orders';

supplier表

  CREATE EXTERNAL TABLE supplier (
      S_SUPPKEY INT, 
      S_NAME STRING, 
      S_ADDRESS STRING, 
      S_NATIONKEY INT, 
      S_PHONE STRING, 
      S_ACCTBAL DOUBLE, 
      S_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/supplier';

partsupp表

  CREATE EXTERNAL TABLE partsupp (
      PS_PARTKEY INT, 
      PS_SUPPKEY INT, 
      PS_AVAILQTY INT, 
      PS_SUPPLYCOST DOUBLE, 
      PS_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/partsupp';

customer表

  CREATE EXTERNAL TABLE customer (
      C_CUSTKEY INT, 
      C_NAME STRING, 
      C_ADDRESS STRING, 
      C_NATIONKEY INT, 
      C_PHONE STRING, 
      C_ACCTBAL DOUBLE, 
      C_MKTSEGMENT STRING, 
      C_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/customer';

part表

  CREATE EXTERNAL TABLE part (
      P_PARTKEY INT, 
      P_NAME STRING, 
      P_MFGR STRING, 
      P_BRAND STRING, 
      P_TYPE STRING, 
      P_SIZE INT, 
      P_CONTAINER STRING, 
      P_RETAILPRICE DOUBLE, 
      P_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/part';

region表

  CREATE EXTERNAL TABLE region (
      R_REGIONKEY INT, 
      R_NAME STRING, 
      R_COMMENT STRING
  ) 
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
  STORED AS TEXTFILE 
  LOCATION 'oss://bucket-name/TPC-H/region';

建表完毕后，刷新页面，可以查看Schema下的8张表。

下一步

实施步骤