实时研发基本流程
本教程将指导您如何在Dataphin中基于Ververica Flink完成实时研发并进行可视化分析。以帮助您快速了解Dataphin进行实时研发的基本流程。
背景信息
某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。
以下为数据流向的示意图:
订单系统MySQL的数据通过Ververica Flink任务进行实时计算,实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。
通过BI工具(Quick BI等)读取MySQL中的数据,进行可视化分析。
流程指引
使用Dataphin进行实时研发的基本流程如下:
主流程 | 描述 | 操作指导 |
准备工作 | 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通与配置、Quick BI的开通(非必选)以及数据源的准备。 | |
项目和计算源 | 实时项目是开发实时任务的基本单元,可用于绑定Ververica Flink计算源进行实时研发。 | |
实时元表 | 元表是通过数据管理的跨存储类型表,开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。 | |
实时任务 | 通过创建Flink_SQL流任务,读取或写入元表映射的数据源中的表数据。 | |
任务运维 | 完成实时研发后,任务提交至运维中心,可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。 | |
可视化分析 | 非必选。启动实时实例后,实时读取来源表数据经Ververica Flink计算和处理后实时写入到结果表中。可以使用BI工具(例如,Quick BI等)对结果表中的数据进行可视化分析。 |