文档

研发平台设置

更新时间:

研发平台帮助您在研发过程中对锁及Analyze命令的并发数量进行管控。本文将为您介绍如何设置编辑锁、对象提交、查询加速及存储量更新设置

使用限制

当计算引擎为E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3、ArgoDB、TDH 6.x、StarRocks时,可使用存储量更新设置功能。

权限说明

仅支持超级管理员或系统管理员设置研发平台。

研发平台入口

  1. 在Dataphin首页,单击顶部菜单栏的管理中心

  2. 按照以下操作指引,进入研发平台页面。

    依次单击系统设置->研发平台

    image

编辑锁

  1. 编辑锁区域,点击编辑图标,开启排他编辑锁开关并配置锁。

    image.png

    参数

    描述

    排他编辑锁

    未开启时,用户可互相覆盖锁定状态;开启后,用户锁定某个对象后其他用户不可编辑,直到手动释放或持锁到期,其他用户才可锁定并开始编辑。

    持锁时长

    持锁时长内,用户无任何编辑动作,持锁排他将失效,可被其他用户获取锁。默认为30分钟,最低为5分钟,最高不超过120分钟

    关闭对象时自动释放

    关闭对象编辑选项(tab)时自动释放锁定。

    提交成功时自动释放

    提交成功时自动释放锁定,提交失败不释放。

  2. 单击确定,完成编辑锁设置。

    如需恢复系统初始配置,您可一键恢复默认值

对象提交设置

  1. 对象提交设置区域,配置对象提交。

    image

    参数

    描述

    离线研发对象提交自动解析依赖

    开启后,离线研发对象(例如,SQL计算任务和逻辑表任务)每一次提交时自动触发依赖解析,更新上游依赖列表,避免上游依赖遗忘缺失。

    逻辑表提交字段类型校验

    开启后,逻辑表提交时,系统将校验字段计算逻辑的返回类型与字段类型是否兼容匹配,不匹配时系统将阻塞提交,防止类型隐式转换,造成数据错误。

  2. 单击确定,完成编辑锁设置。

    如需恢复系统初始配置,您可一键恢复默认值

查询加速

开启查询加速,支持加速所有即席查询和分析平台的SQL单元查询;关闭该开关,则所有即席查询和分析平台SQL单元的查询加速开关将被隐藏,不支持查询加速。

重要

查询加速仅支持MaxCompute计算引擎。

存储量更新设置

通过集成、实时研发等任务直接写入到HDFS的数据表,Hive默认不更新存储量信息,包括:表存储量、分区存储量,因此,在资产目录中无法展示目标表的存储量信息。Dataphin提供了在数据表更新后自动执行Analyze命令以获取最新存储量信息的功能,您可以在管理中心-系统设置-研发平台设置中进行配置。

  1. 存储量更新设置区域,点击编辑图标,开启存储量自动更新开关并配置并发连接数。

    image.png

    • 存储量自动更新:默认关闭,开启后,Dataphin会在任务运行成功后,针对Hive目标表自动执行Analyze命令以更新存储量信息,如果集成、实时研发等任务数量较多,并且您的Hive Server性能较好,可以通过调整并发连接数以缩短更新命令的整体运行时间,保证次日可在资产目录查询最新存储量。请注意,并发连接过高可能会消耗较多计算资源,影响其他任务正常运行,请结合业务场景,合理配置并发连接数。

    • 最大连接数:支持设置执行Analyze命令的最大并发连接数,默认为5,支持设置1~200之间的正整数。

      重要

      当存储量自动更新开启时,Analyze命令运行超过24小时,系统将自动终止执行中或等待中的命令,节省计算资源的消耗。

  2. 单击确定,完成存储量更新设置。

    说明
    • 当存储量自动更新从关闭变为开启,并确定后,所配置的并发连接数立即生效,请注意,并发连接过高可能会消耗较多计算资源,影响其他任务正常运行,请结合业务场景,合理配置并发连接数。

    • 当存储量自动更新从开启变为关闭时,正在执行中或等待中的Analyze命令不受影响,后续运行成功的集成、实时研发等任务的目标表存储量将无法自动更新,您可在Hive中执行Analyze命令手动更新信息。

  • 本页导读