实时研发基本流程概述

本教程将指导您如何在Dataphin中基于Ververica Flink完成实时研发并进行可视化分析。以帮助您快速了解Dataphin进行实时研发的基本流程。

背景信息

某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。

以下为数据流向的示意图:

image
  1. 订单系统MySQL的数据通过Ververica Flink任务进行实时计算,实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。

  2. 通过BI工具(Quick BI等)读取MySQL中的数据,进行可视化分析。

流程指引

使用Dataphin进行实时研发的基本流程如下:

主流程

描述

操作指导

准备工作

使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通与配置、Quick BI的开通(非必选)以及数据源的准备。

步骤一:准备工作

项目和计算源

实时项目是开发实时任务的基本单元,可用于绑定Ververica Flink计算源进行实时研发。

步骤二:实时项目规划

实时元表

元表是通过数据管理的跨存储类型表,开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。

步骤三:创建实时计算表

实时任务

通过创建Flink_SQL流任务,读取或写入元表映射的数据源中的表数据。

步骤四:开发FLINK_SQL实时任务

任务运维

完成实时研发后,任务提交至运维中心,可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。

步骤五:启动实例并插入数据

可视化分析

非必选。启动实时实例后,实时读取来源表数据经Ververica Flink计算和处理后实时写入到结果表中。可以使用BI工具(例如,Quick BI等)对结果表中的数据进行可视化分析。

步骤六:可视化分析