本章节汇总了实时计算使用、网络连通性、效率提升等相关的常见问题。

如何查看作业的系统版本信息?

实时计算支持不同的系统版本,您可以在实时计算管理控制台开发页面或者运维页面查看当前作业的系统版本信息。
  • 开发页面查看系统版本信息
    1. 登录实时计算控制台
    2. 单击顶部的开发
    3. 开发页面的右下角的Flink版本,查看系统版本信息。查看系统版本信息
  • 运维页面查看系统版本信息
    1. 登录实时计算控制台
    2. 单击顶部的运维
    3. 运维页面,单击目标作业名称。
    4. 作业运维 > 属性参数 > 作业属性 > Flink版本页面,查看系统版本信息。系统版本信息

如何查看集群名称、项目名称和作业名称?

  1. 登录实时计算控制台
  2. 将鼠标悬停至页面右上角账号信息位置,选择项目管理
  3. 项目列表页面,单击目标项目名称,进入项目概览页面,查看以下信息:
    • 集群名称
      您可以在实时计算控制台的总览页面查看实时计算项目的名称和项目所归属的集群名称。集群名称
    • 项目名称
      您可以在实时计算控制台的总览页面查看实时计算项目的名称。项目名称
    • 作业名称
      您可以在实时计算控制台的开发运维页面查看实时计算作业的名称。
      • 开发页面查看作业名称
        您可以在作业编辑页面右侧的基本属性页面中,查看作业的名称。开发页面查看
      • 运维页面查看作业名称
        您可以在作业运维页面的顶部查看作业的名称。运维页面查看
    • 地域信息
      总览页面右侧项目信息中,查看项目地域信息。地域信息

如何查看AccessKey ID和AccessKey Secret信息?

您可以通过阿里云管理控制台获取您的密钥信息,查询步骤如下:
  1. 登录实时计算控制台
  2. 将鼠标悬停至页面右上角的头像,单击Accesskey 管理accesskeys
  3. 安全信息管理页面查看您的AccessKey IDAccess Key Secret信息。 Access Key Secret

如何查看更新后的SQL是否生效?

您可以在运维界面的属性参数 > 作业代码中查看更新后的SQL代码,确认您的变更是否生效。 确认变更是否生效
说明 查看作业SQL变更生效前,请确保您按照作业生效的完整流程完成了SQL变更:停止作业 > 更新SQL > 上线作业 > 启动作业

如何查看维表读取数据的进度?

您可以通过实时计算控制台中的taskmanger.log日志信息,查看维表读取数据的进度。具体操作步骤如下:
  1. 登录实时计算控制台
  2. 单击顶部的运维
  3. 运维页面,单击目标作业名称。
  4. 单击对应的JOIN节点拓扑图。
  5. 单击SubTasks列表右侧的LOG0,进入taskmanger.log日志。
  6. 按下Ctrl + F,检索rows from <维表类型>,例如rows from odpsrows from odps
说明 如果通过以上步骤无法检索到相应的进度信息,请从以下方面进行排查:

如何切换系统版本?

实时计算支持多种系统版本,您可以在实时计算管理控制台的开发页面对系统版本进行切换,操作步骤如下:
  1. 登录实时计算控制台
  2. 单击顶部的开发
  3. 开发页面的右下角,单击版本切换版本切换
  4. 单击确定,完成切换。切换版本
    说明
    • 如果您使用的是独享集群,且只安装了一个系统版本,您需要先安装新版本再进行切换。详情请参见管理独享集群Blink版本
    • 作业版本切换完成后,需要进行重新上线(生成新的planJSON)和启动作业操作,才能使更新后的系统版本在作业中生效。

如何在SQL代码中动态获取作业参数?

您可以对作业中指定的参数进行配置,以达到作业更新后,作业SQL代码中WITH参数信息自动同步的目的。 操作步骤如下:
  1. 登录实时计算控制台
  2. 单击顶部的开发
  3. 在作业编辑页面,单击右侧的作业参数
  4. 作业参数页面,输入WITH参数的动态配置信息。动态配置信息
  5. 在对应的作业编辑页面,在作业代码中,使用${}声明WITH参数。声明

如何重新获取配置资源?

对作业的配置进行更新前,您需要进行重新获得获取配置资源的操作。操作步骤如下:
  1. 登录实时计算控制台
  2. 单击页面底部的开发
  3. 在作业开发页面,单击基本属性 > 前往资源配置基本属性
    说明 如果在操作中出现报错,请参见重新获取配置资源报错,该如何处理?
  4. 单击配置信息操作 > 重新获取配置信息重新获取配置信息

如何使用系统时间进行分组聚合计算?

如果您有使用系统时间做分组聚合计算的需求,建议您使用GROUP BY DATE_FORMAT(TO_TIMESTAMP(NOW()*1000), 'yyyyMMdd') as `day` 的方式来代替GROUP BY CURRENT_DATE

因为,如果使用GROUP BY CURRENT_DATE方式进行分组聚合,运行结果可能不符合您的预期。

重启作业时,是否能保证数据不丢失且不重复?

  • 如果您是手动停止作业后,再重启作业,您可以在重启设置启动位点时,调整启动时间到停止时间之前,并建议您使用带主键唯一特性的数据库做结果表,即使上游存储有部分重复消费的数据,最终结果也能接近准确。因为实时计算独享和共享模式本身不支持Savepoint,所以手动停止并重启的位点无法做到非常精准。
  • 如果系统出现故障后重启作业,您无需担心数据丢失问题。因为实时计算存在容错机制。容错机制的核心是持续创建分布式数据流及其状态的快照。当系统出现故障时,这些快照充当可以回退的一致性检查点(Checkpoint)。作业Failover会从Failover前一次成功的Checkpoint位点恢复。

如何查看独享集群白名单和VPC信息?

独享集群引用的外部存储必须和实时计算处于相同的VPC。如果引用的数据存储(例如RDS)需要配置白名单,则需要将ENI中的IP添加到外部数据存储的白名单中。
  1. 登录实时计算控制台
  2. 将鼠标悬停至页面右上角账号信息位置,选择项目管理
  3. 单击左侧导航栏中集群列表
  4. 集群列表页面,名称下单击目标集群名称。
  5. 在集群信息窗口查看白名单和VPC信息。
    • ENI:引用的外部存储白名单中需要添加的IP地址。
    • VPC:集群VPC ID。

独享集群如何访问公网?

  • 背景说明
    独享集群默认不具备访问公网的能力,但阿里云提供的NAT网关可实现VPC网络与公网网络互通,以满足部分独享集群用户通过UDX或Datastream代码访问公网的需求。背景说明
  • 解决方案
    通过在VPC中创建NAT网关,并创建SNAT条目(如下图所示)将独享集群所在的交换机绑定至弹性公网IP(EIP),即可通过EIP访问公网。具体配置方法请参见: EIP

如何访问跨VPC里的存储资源?

您可以通过以下几种方式跨VPC访问存储资源:
  • 请您提交工单,产品名称选择VPC,要求通过高速通道或其它产品打通网络,但是此种方式需要付费。
  • 退掉存储服务后,重新购买一个与实时计算相同VPC的存储资源服务。
  • 释放Blink集群后,重新购买一个和存储服务相同VPC的实时计算服务。
  • 开通实时计算的公网访问能力,通过公网访问存储服务。因为在延迟性方面,公网不如内网,所以不推荐使用此方式。独享集群默认不能访问公网,如有需求,请参见独享集群如何访问公网?

如何对网络连通性问题进行排查?

如果出现网络连通性问题,请先参见网络探测完成网络连通性的初步验证。本文为您介绍不同场景应该如何处理网络连通性问题:
  • 网络连接失败
    • 未设置白名单

      请参见数据存储白名单配置完成上下游数据存储设备的白名单设置。

    • 白名单设置不正确
      • 独享集群

        检查相关数据存储和实时计算是否处于不同VPC。如果处于不同VPC,请使用高速通道等产品进行连通,或者重新购买与实时计算处于相同VPC的存储资源。

      • 共享集群
        检查Endpoint填写是否正确。共享模式访问VPC下的存储需要先进行VPC授权,详细步骤请参见VPC访问授权
        说明 Kafka的连接信息可以进行VPC授权,但是Meta数据不能进行授权,因此共享模式不能使用Kafka作为上下游数据存储。
  • 端口连接失败

    请参见安全组概述完成安全组设置。

  • 域名连接失败

    如果IP连接正常,但域名连接失败,请检测域名解析是否正确。可以使用PrivateZone产品对域名进行解析。

如何快速编写和测试SQL?

实时计算提供整套开发工具辅助您进行开发测试工作,推荐流程如下:
  1. 在数据开发页面进行SQL开发,使用SQL编辑器的DDL生成、SQL智能提示、语法检测等工具实现快速开发。
  2. 在数据开发的在线调试功能,进行模拟容器调试。该调试过程不会影响线上代码和数据上下游存储。
  3. 将发布调试完成的代码,到生产运维试运行。经过真实业务和数据验证后,该SQL作业进入生产状态。
  4. 在数据开发页面完成修改代码后,不会影响生产作业,需要您单击上线后,重新启动该作业,该修改才会生效。

如何优化实时计算各个节点资源配置以减少延迟?

  • 问题描述
    实时计算作业启动后,多个节点的延迟会迅速增加。示例如下图。延迟迅速增加
  • 原因分析
    • 资源不足
    • 启动作业的时候选择了追历史数据,作业将会有一定的延时。
  • 解决方案