基本概念

什么是实时计算？

数据的业务价值会随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理，目前，对于信息的高时效性和可操作性要求越来越高，这就要求软件系统能够在更短的时间内处理更多的数据。而传统的大数据处理模型将在线事务处理和离线分析从时序上完全分开，对于数据加工均遵循传统的日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理。显然，传统的大数据处理方式无法满足数据实时计算的需求。数据处理时延造成的影响对要求苛刻的业务场景会非常明显，例如实时大数据分析、风控预警、实时预测和金融交易等领域。

实时计算可以有效地缩短全链路数据流时延、实时化计算业务逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。

实时计算与批量计算相比存在哪些差异？

阿里云实时计算适用哪些场景？

阿里云实时计算使用有哪些限制？

什么是流数据？

阿里云实时计算的数据存储有哪些类型？

实时计算的全链路示意图是什么样的？

不同于现有的离线/批量计算模型，实时计算全链路整体上更加强调数据的实时性，包括数据的实时采集、实时计算和实时集成。三大类数据的实时处理逻辑在全链路上保证了流式计算的低时延。全链路实时计算示意图如下。

1. 数据采集

   使用流式数据采集工具将数据实时地采集并传输到大数据消息Pub/Sub系统，该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。

2. 实时计算

   流数据作为实时计算的触发源，驱动实时计算的运行。因此，一个实时计算作业必须至少使用一个流数据作为源。进入的数据流将直接触发下游实时计算的一次流式计算处理。

3. 数据集成

   实时计算将计算的结果数据直接写入目的数据存储，这其中包括多种数据存储系统、消息投递系统，甚至直接对接业务规则告警系统以发出告警信息。不同于批量计算（阿里云MaxCompute或开源Hadoop），实时计算天生自带数据集成模块，可以将结果数据直接写入到目的数据存储。

4. 数据消费

   一旦结果数据从实时计算投递到目的数据源后，数据消费就和实时计算完全解耦。您可以使用数据存储系统访问数据，使用消息投递系统进行信息接收，或者直接使用告警系统进行告警。

实时计算Flink产品全链路使用流程是怎样的？

1. 验证网络连通性。

   使用网络探测功能验证，详情请参见存储注册方式中的网络探测。

2. 引用外部存储。
   详情请参见数据存储概述文档引用外部存储。

   说明 如果不支持注册存储功能，请使用明文方式。
3. 编写源表、结果表、维表（可选）的DDL和DML语句。

   CREATE TABLE test_input (
     id     BIGINT,
     `name` VARCHAR,
     score  INT,
      `time` BIGINT,
       tbirus AS TO_TIMESTAMP(`time`/1000), --使用计算列，将16位时间戳转换为13位时间戳。
     WATERMARK FOR ts AS WITHOFFSET(ts, 1000) --使用窗口，其中CEP、OVER窗口需要声明。
   )with(
       type='datahub',
       ...
   );
   
   CREATE TABLE test_output (
       window_start TIMESTAMP,
     window_end   TIMESTAMP,
       ct           BIGINT
   )with(
       type='rds',
       ...
   );
   
   --简单的滚动窗口示例。
   INSERT INTO
       test_output
   SELECT  
     TUMBLE_START(ts, INTERVAL '1' MINUTE),
       TUMBLE_END(ts, INTERVAL '1' MINUTE), 
       count(*)
   FROM test_input
   GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE);   

4. 语法检查。

   详情请参见语法检查。

5. 调试。
   • 调试结果仅供展示，不输出至结果表。
   • 部分外部存储支持数据源表抽取功能。例如，DataHub源表、TableStore源表。如果不支持数据源表抽取功能，请下载模板自行上传数据完成调试。
   • Kafka中VARBINARY类型不支持调试。
   • 部分函数例如EMIT语法不支持调试。
   • 调试输出结果中，同时会显示过程数据。
6. 上线运行。

   详情请参见如何利用报错信息快速定位作业问题？

7. 调优。
   • 优化SQL逻辑。

     详情请参见高性能Flink SQL优化技巧。

   • 添加WITH参数。
   • 添加作业参数。
     详情请参见：

     • 高性能Flink SQL优化技巧。
     • 手动配置调优。
   • 资源调优。
     详情请参见：

     • AutoConf自动配置调优（实时计算1.0和2.0版本支持）。
     • AutoScale自动配置调优（实时计算3.2.2及以上版本支持该功能）。
     • 手动配置调优。

单个阿里云实时计算作业包含几个部分？

• SQL代码：SQL代码是计算作业的核心业务逻辑，其中包括输入表DDL声明（流式输入表、静态输入表）、输出表DDL声明，以及执行业务逻辑的DML语句。
• 参数：参数用来描述作业运行时指标。例如并发量、批处理数据量等信息。
• 属性：作业的业务信息。例如创建人、创建时间等相关记录。
• 资源配置：配置作业的资源。

实时计算数据的状态保存时间是多久？

如何加载数据到实时计算？

实时计算处理后的结果数据如何继续应用？

实时计算将计算的结果数据输出到目的数据表，并且为下游数据继续应用提供各类读写接口。

实时计算中一个作业里可以编写多个insert语句、插入到多个数据结果表吗？

• 可以编写存在多个结果表。使用多个INSERT （DML）语句的作业代码，分别插入数据结果表。
• 可以编写存在多个源表的作业代码。多数据源表可以进行双流JOIN、UNION等操作。

开发调试和生产运维区别是什么？

作业暂停恢复和停止重启的区别是什么？

操作变更生效的前提是作业重新上线，并且恢复时选择按最新配置恢复。如果选择按之前配置恢复，则所有操作变更均不生效，效果等同于原作业暂停恢复。

什么是启动位点？

启动位点是读取数据的时间点。启动位点的时间点以后产生的数据，都将按照时间的顺序输入至新的作业中进行计算。

阿里云实时计算提供的编程接口是什么？

--声明一个流式源表。
create table stream_source(word string) ;

--声明一个目标表。
create table stream_result(word string, cnt bigint) ;

--统计word次数。
insert into stream_result
select t.word,
       count(1)
from stream_source t
group by t.word;

实时计算SQL作业支持全局ORDER BY吗？

实时计算作业不支持全局ORDER BY，ORDER BY需要在OVER窗口中使用。详情请参见TopN语句。

无窗口和窗口这两类SQL的业务含义是什么？

• 窗口函数Group Window Aggregation
  Group Window Aggregation是一种在窗口上的聚合。Group Window Aggregation在每个窗口结束且无提前的观测值（early firing）时，会发出的一条结果数据，例如MicroBatch。时间窗口有以下几种：

  • TUMBLE：滚动窗口
  • HOP：滑动窗口
  • SESSION：会话窗口
  例如，统计过去的1分钟内，多少用户单击了某个网页。在这种情况下，我们可以定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。

  • 测试数据

    username (VARCHAR)	click_url (VARCHAR)	ts (TIMESTAMP)
    Jark	http://taobao.com/xxx	2017-10-10 10:00:00.0
    Jark	http://taobao.com/xxx	2017-10-10 10:00:10.0
    Jark	http://taobao.com/xxx	2017-10-10 10:00:49.0
    Jark	http://taobao.com/xxx	2017-10-10 10:01:05.0
    Jark	http://taobao.com/xxx	2017-10-10 10:01:58.0
    Timo	http://taobao.com/xxx	2017-10-10 10:02:10.0

    INSERT INTO tumble_output
    SELECT
    TUMBLE_START(ts, INTERVAL '1' MINUTE),
    TUMBLE_END(ts, INTERVAL '1' MINUTE),
    username,
    COUNT(click_url)
    FROM window_input
    GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username;   

  • 测试结果

    window_start (TIMESTAMP)	window_end (TIMESTAMP)	username (VARCHAR)	clicks (BIGINT)
    2017-10-10 10:00:00.0	2017-10-10 10:01:00.0	Jark	3
    2017-10-10 10:01:00.0	2017-10-10 10:02:00.0	Jark	2
    2017-10-10 10:02:00.0	2017-10-10 10:03:00.0	Timo	1

• 无窗口函数Group Aggregation
  Group Aggregation是一种无限流的聚合。因为没有窗口，所以每到达一条数据就会增量计算一次，并发出更新后的结果。实时计算状态保存在以下三层存储媒介：

  • 第一层：内存，作为缓存来使用。
  • 第二层：硬盘，实时计算使用SSD作为存储。
  • 第三层：HDFS。

  因此，不存在内存占满的问题。
  • 测试数据

    Customer	OrderPrice
    Bush	1000
    Carter	1600
    Bush	700
    Bush	300
    Adams	2000
    Carter	100

    SELECT Customer,SUM(OrderPrice) FROM XXXX
    GROUP BY Customer;

  • 测试结果

    Customer	SUM(OrderPrice)
    Bush	2000
    Carter	1700
    Adams	2000