作业提交

提交方式

优缺点

适用场景

通过集群Gateway节点提交作业（推荐）

优点：

• 网络隔离：通过跳板机访问集群，不暴露Master节点。

• 弹性伸缩：能够根据集群负载动态调整Gateway实例资源。

• 操作便捷：无需额外配置客户端环境，可以直接使用预装的命令行工具（例如spark-submit）来提交作业。

缺点：

• 成本增加：增加了Gateway节点ECS实例的成本。

• 企业生产环境作业提交。

• 跨VPC与混合云架构。

通过阿里云DataWorks提交作业（推荐）

优点：

• 自动化运维：可视化任务编排与监控报警。

• 企业级功能：支持任务血缘分析与成本优化。

• 兼容性好：支持其他阿里云产品统一集成。

缺点：

• 学习成本：需熟悉DataWorks开发规范。

• 成本增加：需要额外支付DataWorks产品的使用费用。

• 周期性ETL任务管理。

• 需要进行复杂依赖管理的DAG工作流。

通过集群Master节点提交作业

优点：

• 操作便捷：无需额外配置客户端环境，可以直接使用预装的命令行工具（例如spark-submit）来提交作业。

• 成本最低：无需额外资源支出。

缺点：

• 安全隐患：Master节点通常具备高权限，任何误操作都有可能导致集群崩溃，例如错误删除HDFS元数据。

• 扩展性不足：存在单点提交瓶颈，无法实现横向扩展。

• 资源抢占：频繁提交大型作业可能会占用Master节点的计算资源（例如CPU和内存），进而影响集群管理服务（如ZooKeeper和HMaster）的正常运行。

• 开发测试环境快速验证。

• 临时性任务快速调试。