分场景排错指引

购买实时计算Flink版服务时，遇到Inventory check failed报错，应该如何处理？

• 问题场景
  在购买实时计算Flink版服务时，遇到Inventory check failed报错。
• 问题原因
  • 您不小心删除了阿里云实时计算Flink版在RAM的角色AliyunStreamDefaultRole。
  • 您不小心修改了AliyunStreamDefaultRole的授权策略且无法恢复。
• 解决方案
  请您参见共享模式角色授权恢复AliyunStreamDefaultRole角色。

  注意

  • 删除AliyunStreamDefaultRole角色后，导致实时计算Flink版正在运行的作业瞬间无法读写上下游外部存储，直到后续重新初始化AliyunStreamDefaultRole角色后才可恢复正常。请务必确认这项操作对于线上实时计算Flink版业务是否会造成影响。
  • RAM删除角色和实时计算Flink版重新初始化操作，均需要您的主账号或者经主账号授权的RAM账号来完成。

控制台提示项目参数错误，项目不存在，应该如何处理？

• 问题描述
  在阿里云实时计算Flink版控制台出现错误提示窗口。
• 原因分析

  系统下线了已经到期但是没有续费的项目。

• 解决方案

  您需要对项目进行续费，详情请参见手动续费。

作业无法启动，应该如何处理？

作业上线后，作业的运维页面看不到拓扑图、瞬时值的指标或曲线指标，应该如何处理？

1. 查看是否有Failover错误信息

   解决方案：如果有Failover错误信息，请参见运行Failover。

2. 运维页面没有拓扑图和瞬时值的数据
   解决方案：请您提交工单进行咨询。工单格式如下：

   • 项目名
   • 作业名称
   • 什么时间提交的作业
   • 公司名称
   • 报错信息截图
3. 运维页面的曲线指标，全部指标或者是部分指标都没有信息
   解决方案：

   1. 首先确认是否使用了自定义的Source，如果是自定义的Source，Source的输入曲线为空是正常的，因为实时计算Flink版无法监控到自定义的Source。
   2. 如果没有使用自定义的插件，但曲线指标不存在，请您提交工单进行咨询，工单格式如下：
      • 项目名
      • 作业名称
      • 什么时间提交的作业
      • 公司名称
      • 报错信息截图

新作业提交后，项目中现存作业出现异常的原因是什么？

例如，1个项目的总资源为10CU，已经启动了两个作业，分别申请了2.5CU。由于资源有超用，其中一个作业A实际使用了3CU。总项目上来看，已使用CU（即实际申请CU）=5CU，但实际使用的资源为5.5CU。如果此时再提交运行1个申请5CU的作业，由于总资源为10CU，此时资源超用的作业A需要退还超用的0.5CU。因此，作业A实际使用的资源为2.5CU（与实际申请的一致），相比之前的实际使用的资源3CU有所减少，其处理能力也有所下降，可能会出现业务延迟增大的现象。

为什么作业没有输出？

• 场景描述

  上线运行作业后，下游结果表中没有数据。

• 排错流程图
  1. 检查作业中是否存在Failover
     • 排错指引

       查看Failover报错信息，分析作业运行异常原因。

     • 解决方案

       解决Failover问题，使作业正常运行。

  2. 检查源表数据是否进入实时计算Flink版
     • 排错指引

       这种情况下没有Failover，但数据延时会很大，请查看数据曲线，检查各Source输入是否有数据。

     • 解决方案

       检查源表，保证上游有数据进入实时计算Flink版。

  3. 检查数据是否被某个节点过滤
     • 排错指引
       • 在运行信息页面，查看每个节点的IN_Q（输入）和OUT_Q（输出）。如果输入有数据，输出为0，说明数据被这个节点过滤了。单击对应节点vertex顶部深蓝色区域后，再单击Metrics，查看数据输入和数据输出指标的详细信息。
       • 在数据曲线页面，查看数据流入流出情况。
         1. 有数据流入：检查是否使用了数据存储的方式引入。
         2. 没有数据流出：可能是启动位点设置的有误。
     • 解决方案
       请参见Vertex排查数据量问题。

       • Join过滤了数据。
       • Window过滤了数据（检查Watermark的字段是否有效）。
       • Where条件过滤了数据。
  4. 检查下游是否由于默认缓存机制缓存了数据
     解决方案：排除JOB的业务逻辑异常后，调整下游存储的batchsize的大小，设置为1。

     说明 该参数可能会造成下游数据库I/O压力过大、存在性能瓶颈的风险。

     with(
     
     type ='DATAHUB',
     
     endpoint = 'XXXX',
     
     batchsize = '1'
     
     )

  5. 检查下游RDS，是否存在死锁

     解决方案：请参见写MySQL（TDDL/RDS）时，出现死锁（DeadLock）。

另外，您可以使用调试模式（Debug），将计算结果打印到日志中，对日志进行分析，判断无输出结果的原因。详情请参见如何通过调试模式（Debug）查看作业的输出信息？

为什么使用滑动窗口没有数据输出？

• 问题描述：

  使用滑动窗口没有数据输出。

• 解决方案
  • 检查源表Watermark的时间字段是不是TIMESTAMP类型，如果不是，请您使用计算列进行转换。
    说明

    1. 请参见概述的时间类型中关于Watermark的说明了解更多。
    2. 请参见数据源表概述数据列章节了解如何进行转换。
  • 检查数据源表的并发是不是都有数据，只要有一个并发没有数据都不会触发Watermark形成窗口输出。如下图所示 。

作业延时增加，应该如何处理？

• 排查指引
  • 数据间隔时间较大
    数据间隔时间：no_data_delay = 当前系统时间 - 最后一条数据到达实时计算Flink版的时间，即数据源中的数据到达实时计算Flink版的时间间隔。
    数据间隔延时过大表明上游可能没有数据进入实时计算Flink版系统。实时计算Flink版数据间隔时间等于所有并发中的最大的延迟。您可以参见运维页面数据曲线 > Delay中的Source SubTask 最大延迟 Top 15曲线分析源表各并发的延迟。
  • 作业性能不佳

    SQL语法或者资源配置的不合理可能导致作业性能不佳，从而造成数据处理的滞后和作业延时的增加。

• 处理方法
  • 检查作业链路，确保上游所有Shard（Queue）都有最新的数据流入实时计算Flink版。
  • 如果在数据间隔时间较小的情况下，仍然存在作业延时增加的现象，则可能是作业性能不佳所导致。处理方法参见高性能Flink SQL优化技巧。SQL优化后，建议您先进行3~5次自动配置调优，如果调优效果不明显，再进行手动配置调优。
    说明

    • 第一次进行自动配置调优时，请不要指定CU数。
    • 建议您先优化SQL，再进行资源配置，优化效率会更高。

作业延迟过大，应该如何处理？

业务延迟显示作业无效，应该如何处理？

如何对实时计算Flink版3.0以上版本的作业进行反压检测？

如何通过调试模式（Debug）查看作业的输出信息？

如何处理调试过程、窗口或计算过程中的脏数据？

如何利用报错信息快速定位作业问题？

如何从taskmanager.log中查找脏数据等报错信息？

Vertex排查数据量问题

• 现象分析
  数据经过JOIN、WHERE或WINDOW等节点，数据量变少为正常现象，因为数据可能因为条件限制被过滤或JOIN不上。当某个Operator为红色时，代表数据被该节点过滤。
• 过滤场景
  • Window节点过滤
    排查方案：

    1. 检查开窗的字段ts是否正常：
       • 如果您的开窗时间是1970年（时间戳为10位）、15XXX年（时间戳为16位）等非13位时间戳的开窗时间，则需要使用计算列转换为13位时间戳后，再进行开窗操作。
       • 如果您不确定您的ts字段是否正常，建议您写一个虚拟的Sink，将ts字段打印到日志中，详情请参见如何通过调试模式（Debug）查看作业的输出信息？

         CREATE TABLE test_output (
             ts              timestamp
         ) WITH (
             type = 'print'
         );
         INSERT into test_output
         SELECT 
              ts
         FROM 源表;

    2. 查看数据曲线中有关WaterMark的三个曲线。详情请参见数据曲线。
       2.x以下的版本：查看数据源表的并发是否都有数据，只要一个并发没有数据，就不会触发WaterMark形成窗口输出。

       说明 假设，窗口设置为1分钟的滚动窗口，数据被窗口过滤。检查下一个窗口是否有数据到来，如果下个窗口没有数据到来，则不会触发上一个窗口的结束，因此窗口没有输出。

    如果排查后，发现没有问题，请您提交工单进行咨询。

  • Where节点过滤
    排查方案

    1. 将Where条件注释掉后，再将没有Where条件的数据打印到日志中，检查是否有数据满足Where条件。详情请参见如何通过调试模式（Debug）查看作业的输出信息？
    2. 当有符合Where条件的数据时，请检查Where条件的写法。例如，在Where条件中使用了to_timestamp、date_format等函数时，您可以将Where条件中使用的函数打印到虚拟Sink中，检查函数使用的方法是否正确。

       CREATE TABLE test_output (
           t1              varchar
       ) WITH (
           type = 'print'
       );
       INSERT into test_output
       SELECT 
          DATE_FORMAT(datetime1, 'yyMMdd')
       FROM 源表;                         

    如果您排查后，发现没有问题，请您提交工单进行咨询。

  • JOIN节点过滤

    排查方案：检查ON条件，如果您不确定ON条件是否有问题，您可以将左右两个表的数据打印到日志中检查。详情请参见如何通过调试模式（Debug）查看作业的输出信息？

    如果ON条件没有问题，请您提交工单进行咨询。

重新获取配置资源报错，该如何处理？

• 报错信息
• 报错原因

  无法正常获取当前资源配置信息。

• 解决方案
  1. 在资源配置页面，按住CTRL+E将资源配置信息删除后，应用当前配置并关闭窗口。
  2. 重新获取配置资源，再应用当前配置并关闭窗口。

在使用UDX函数时，引用JAR包内的本地文件报错

GROUP BY数据出现热点、数据倾斜

• 问题描述

  在作业处理的速度很慢时，增加了资源后，作业处理速度并没有明显提升。

• 问题原因

  数据出现热点、数据倾斜。

• 解决方案
  • 优化前

    SELECT 
    ID,
    COUNT(distinct NAME)
    FROM  AA
    GROUP BY ID;

  • 优化后

    CREATE VIEW SSS AS
    SELECT
    ID,
    NAME
    FROM  AA
    GROUP BY ID,NAME;
    
    INSERT INTO  SS
    SELECT
    ID,
    COUNT(NAME)
    FROM  SSS
    GROUP BY ID;

    说明 把SQL拆分成两次进行GROUP BY，第一次去重，第二次聚合。

OpenAPI DEMO报错

• 报错信息
• 报错原因

  您使用了4.3.0以下版本的aliyun-java-sdk-core。

• 解决方案

  请使用4.3.0及以上版本的aliyun-java-sdk-core。

云监控控制台页面配置监控告警时，显示无数据，应该如何处理？

• 问题描述

  实时计算Flink版作业运维页面有数据曲线，且有数据传给云监控消费的日志信息，但在云监控控制台配置监控告警时，显示无数据。

• 问题原因

  子账号没有授予相关权限。

• 解决方案
  添加AliyunCloudMonitorFullAccess和AliyunCloudMonitorReadOnlyAccess权限。

  说明 如果添加AliyunCloudMonitorFullAccess和AliyunCloudMonitorReadOnlyAccess权限后，云监控控制台仍然没有数据，请您提交工单，产品名称选择云监控。