数据开发
功能集 |
功能 |
功能描述 |
参考文档 |
作业开发 |
SQL作业开发 |
编写SQL作业代码,可以使用内置的丰富连接器,也可以使用自定义函数、自定义连接器等功能进行SQL作业开发。 |
|
Python作业开发 |
支持Flink Python API作业开发,开发完成后在Flink开发控制台上部署并启动看到业务效果。 |
Python作业开发 | |
JAR作业开发 |
Flink JAR提供了更灵活的编程模型和API,可以自定义各种数据转换、操作和算子,适用于复杂的业务逻辑和数据处理需求。 |
JAR作业开发 | |
查询脚本 |
查询脚本支持Call和DDL、DQL、DML语法。您可以通过查询脚本创建管理Catalog、表、数据查询,可以使用explain语法查看执行计划定位问题,也可以实现对Paimon的管理。 |
查询脚本 | |
函数管理 |
在SQL作业中使用自定义函数进行作业开发。 |
管理自定义函数 | |
作业调试 |
使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。 |
作业调试 | |
数据连接 |
连接器 |
实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。 |
|
数据格式 |
Flink支持多种数据格式来处理数据流,定义如何将二进制数据映射到表列上。 |
数据格式 | |
元数据管理 |
内置catalog |
配置内置Catalog后,您可以在Flink开发控制台直接读取元数据,无需再手动注册表,提高作业开发的效率且保证数据的正确性。 |
|
自定义catalog |
如果内置的Catalog类型无法满足业务需求,您可以使用自定义Catalog类型。 |
管理自定义catalog |
运维管理
功能集 |
功能 |
功能描述 |
参考文档 |
作业运维 |
部署作业 |
作业部署将开发和生产隔离,部署后不影响运行中的作业,(重新)启动后才会正式上线运行。 |
部署作业 |
配置作业 |
在作业启动前,需要配置作业部署以及资源信息等。 |
配置作业部署信息 | |
参数动态更新 |
动态更新Flink作业参数可以实现更快的参数配置生效,减少作业启停对业务的中断时间,方便进行TM动态扩缩容和系统检查点的排查。 |
动态扩缩容与参数动态更新 | |
启动作业 |
完成作业开发和部署后,需要在作业运维页面启动作业至运行阶段。 |
启动作业 | |
作业日志 |
在作业启动或者运行异常时,可以查看运行或者异常日志进行异常问题排查。 |
||
作业状态管理 |
系统检查点(Checkpoint)和作业快照(Savepoint)统称为状态集,用来管理作业的生命周期。 |
作业状态管理 | |
调优诊断 |
智能诊断服务能够帮用户监控作业健康状况,分析和诊断错误日志、异常运行和风险情况,并提供可理解和可操作的诊断建议。同时支持智能调优和定时调优两种自动调优模式进行资源配置。 |
调优诊断 | |
血缘关系 |
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。 |
查看血缘关系 | |
监控告警 |
实时计算Flink版支持使用云监控(免费监控服务)或ARMS提供监控报警服务,配置作业指标或事件监控告警,便于您及时发现并处理异常。 |
作业监控告警 | |
任务编排 |
工作流管理 |
工作流是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG(有向无环图)。如果您需要安排任务在指定的时间运行,可以创建工作流并在工作流中定义调度节点以及调度策略。 |
管理工作流 |
工作流实例管理 |
工作流创建后,用户可以对已有的工作流实例和节点进行操作。 |
工作流实例管理 | |
资源管理 |
资源管理 |
Flink工作空间支持全托管存储和绑定OSS Bucket两种存储类型(在开通时选择)来管理存储的作业资源。 |
资源管理 |
队列管理 |
管理资源队列 |
如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。 |
管理资源队列 |
安全服务
功能集 |
功能 |
功能描述 |
参考文档 |
安全中心 |
Hive Kerberos |
在实时计算控制台上注册Hive Kerberos集群信息后,可以访问支持Kerberos的Hive。 |
注册Hive Kerberos集群 |
密钥托管 |
Flink支持使用作业变量和密钥,可以避免明文AccessKey、密码等信息带来的安全风险,通过复用可以避免重复编写相同的代码或值,易于配置管理。支持在SQL作业、JAR或Python作业、日志配置和UI界面等场景中使用。 |
变量和密钥管理 | |
权限管理 |
成员管理 |
在Flink开发控制台进行作业开发、运维等相关操作时,需要通过添加成员并为成员绑定角色的方式完成项目空间授权。 |
成员管理 |
角色管理 |
为了提供更加灵活和安全的权限管理机制,支持根据实际业务需要添加自定义角色,以满足不同权限的需要。 |
角色管理 |
空间管理
功能集 |
功能 |
功能描述 |
参考文档 |
项目空间管理 |
项目空间管理 |
项目空间是Flink管理作业的基本单元,您的配置、作业、权限均在单个项目空间下进行。可以添加多个项目空间,实现多租户通过项目空间进行资源和权限的隔离。 |
项目空间管理 |
标签管理 |
标签由标签键和标签值组成,是云资源的标识。它可以帮助您从不同维度对具有相同特征的云资源进行分类、搜索和聚合,让云资源的管理变得更加轻松。 |
标签管理 |