基本概念

本文汇总使用实时计算Flink版过程中涉及的基本概念,方便您查询和了解相关概念。

层次结构

您可以了解实时计算Flink版产品基本概念的层次结构,为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。

image

概念说明

基本概念

说明

相关文档

实时计算管理控制台

实时计算管理控制台是管理和配置工作空间的核心平台,支持全局管控工作空间与项目空间的生命周期,并根据业务需求灵活调整资源分配。主要功能包括:

  • 工作空间管理:查看、购买、调整资源配置及释放工作空间。

  • 存储管理:切换OSS Bucket为全托管存储模式。

  • 克隆功能:快速复制项目空间,便于扩展和迁移。

实时计算开发控制台

每个工作空间对应一个独立的开发控制台,支持切换目标项目空间。实时计算开发控制台专注于作业开发与运维,助您高效完成作业从开发到上线的全流程操作。主要功能包括:

  • 作业开发:编写、调试和优化实时计算任务。

  • 运维管理:监控作业运行状态,排查问题并优化性能。

  • 权限管理:分配用户权限,保障资源安全访问。

工作空间(Workspace)

工作空间是实时计算Flink版管理项目空间的基本单元,每个工作空间的计算资源隔离,开发控制台相互独立。

项目空间(Namespace)

项目空间是实时计算Flink版管理作业的基本单元,您的所有配置、作业、权限均在单个项目空间下进行。您可以创建多个项目空间,为每个项目空间分配单独的资源和权限,实现多租户通过项目空间进行资源和权限的完全隔离。

资源(Resource)

实时计算Flink版的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1CPU+4 GiB内存+20 GB本地存储(放置日志、系统检查点等信息)

CU对应实时计算底层系统的CPU计算能力。1个实时计算作业的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。您可以根据业务规模以及实时计算的计算能力,估算所需购买的资源数量。

草稿(Draft)

您在实时计算开发控制台ETL界面中创建的SQL作业,以及在数据摄入页面创建的YAML作业称均为草稿。该概念只适用于通过实时计算开发控制台方式进行作业开发,不适用于SDK方式。

SQL作业开发

部署(Deployment)

为了避免修改草稿中的内容会影响到线上正在运行的作业,提出了部署(Deployment)概念,目的是将开发和生产隔离,SQL开发中的作业草稿、上传的JARPython包都可以成为部署。通过部署使草稿变为线上作业,具有确定的流批属性。该概念只适用于通过实时计算开发控制台和SDK方式进行的作业开发。

部署作业

作业实例(Job)

线上运行的一个作业实例,由部署生成,具有确定的流批属性。

连接器(Connector)

实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。

支持的连接器

函数(Function)

实时计算Flink版提供函数功能,包括内置函数和自定义函数。

元数据(Catalog)

数据处理最关键的方面之一是管理元数据,实时计算Flink版的元数据提供了元数据信息,例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。

数据管理

角色(Role)

角色是实时计算Flink版安全功能中的概念,可以理解为拥有相同权限的用户的集合。多个用户可以同时存在于一个角色下,一个用户也可以隶属于多个角色。给角色授权后,该角色下的所有用户拥有相同的权限。

角色授权

成员(Member)

成员是实时计算Flink版安全功能中的概念,支持将阿里云账号和RAM用户添加为成员。非实时计算Flink项目所有者的成员必须被加入实时计算Flink项目中,且被授予相应的权限,才能操作实时计算Flink项目中的数据、作业、资源及函数。

开发控制台授权

资源队列

通过将作业部署到指定队列,进行资源隔离和管理。

管理资源队列