研发平台帮助您在研发过程中对锁及Analyze命令的并发数量进行管控。本文将为您介绍如何设置编辑锁、对象提交、查询加速及存储量更新设置。
使用限制
当计算引擎为E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3、ArgoDB、TDH 6.x、StarRocks时,可使用存储量更新设置功能。
权限说明
仅支持超级管理员或系统管理员设置研发平台。
研发平台入口
在Dataphin首页,单击顶部菜单栏的管理中心。
按照以下操作指引,进入研发平台页面。
依次单击系统设置->研发平台。
编辑锁
在编辑锁区域,点击编辑图标,开启排他编辑锁开关并配置锁。
参数
描述
排他编辑锁
未开启时,用户可互相覆盖锁定状态;开启后,用户锁定某个对象后其他用户不可编辑,直到手动释放或持锁到期,其他用户才可锁定并开始编辑。
持锁时长
持锁时长内,用户无任何编辑动作,持锁排他将失效,可被其他用户获取锁。默认为30分钟,最低为5分钟,最高不超过120分钟。
关闭对象时自动释放
关闭对象编辑选项(tab)时自动释放锁定。
提交成功时自动释放
提交成功时自动释放锁定,提交失败不释放。
单击确定,完成编辑锁设置。
如需恢复系统初始配置,您可一键恢复默认值。
对象提交设置
在对象提交设置区域,配置对象提交。
参数
描述
离线研发对象提交自动解析依赖
开启后,离线研发对象(例如,SQL计算任务和逻辑表任务)每一次提交时自动触发依赖解析,更新上游依赖列表,避免上游依赖遗忘缺失。
逻辑表提交字段类型校验
开启后,逻辑表提交时,系统将校验字段计算逻辑的返回类型与字段类型是否兼容匹配,不匹配时系统将阻塞提交,防止类型隐式转换,造成数据错误。
单击确定,完成编辑锁设置。
如需恢复系统初始配置,您可一键恢复默认值。
查询加速
开启查询加速,支持加速所有即席查询和分析平台的SQL单元查询;关闭该开关,则所有即席查询和分析平台SQL单元的查询加速开关将被隐藏,不支持查询加速。
查询加速仅支持MaxCompute计算引擎。
存储量更新设置
通过集成、实时研发等任务直接写入到HDFS的数据表,Hive默认不更新存储量信息,包括:表存储量、分区存储量,因此,在资产目录中无法展示目标表的存储量信息。Dataphin提供了在数据表更新后自动执行Analyze命令以获取最新存储量信息的功能,您可以在管理中心-系统设置-研发平台设置中进行配置。
在存储量更新设置区域,点击编辑图标,开启存储量自动更新开关并配置并发连接数。
存储量自动更新:默认关闭,开启后,Dataphin会在任务运行成功后,针对Hive目标表自动执行Analyze命令以更新存储量信息,如果集成、实时研发等任务数量较多,并且您的Hive Server性能较好,可以通过调整并发连接数以缩短更新命令的整体运行时间,保证次日可在资产目录查询最新存储量。请注意,并发连接过高可能会消耗较多计算资源,影响其他任务正常运行,请结合业务场景,合理配置并发连接数。
最大连接数:支持设置执行Analyze命令的最大并发连接数,默认为5,支持设置1~200之间的正整数。
重要当存储量自动更新开启时,Analyze命令运行超过24小时,系统将自动终止执行中或等待中的命令,节省计算资源的消耗。
单击确定,完成存储量更新设置。
说明当存储量自动更新从关闭变为开启,并确定后,所配置的并发连接数立即生效,请注意,并发连接过高可能会消耗较多计算资源,影响其他任务正常运行,请结合业务场景,合理配置并发连接数。
当存储量自动更新从开启变为关闭时,正在执行中或等待中的Analyze命令不受影响,后续运行成功的集成、实时研发等任务的目标表存储量将无法自动更新,您可在Hive中执行Analyze命令手动更新信息。
- 本页导读