功能更新动态（2024年）--独享模式（半托管）

功能名称

功能描述

相关文档

数据源管理

• MySQL、Oracle、PostgreSQL、Microsoft SQL Server类型数据源，支持测试当前数据源与外部调度集群的连通性，支持保存与Dataphin实例网络不通但与外部调度集群网络相通的数据源。

• 自定义数据源支持重新上传Jar包和编辑数据源JSON。

• 新建离线自定义源类型

• 新建实时自定义源类型

离线研发

• 数据库SQL任务新增支持Presto数据源。

• 创建数据库SQL任务须指定Schema。

• HIVE_SQL任务中使用临时表（temporary table），在资产清单中可以生成跳过临时表的血缘关系；所有类型的SQL任务先创建表，后删除表，也可以跳过该表生成的血缘关系。

• Basic环境下，支持将计算任务从回收站中恢复或彻底删除。

• 新建数据库SQL任务

• 新建HIVE_SQL任务

• 管理回收站的资源对象

基础运维

项目级监控告警优化，支持分别针对调度周期为日/周/月的任务或小时/分钟的任务分别配置未完成告警的告警详情。

配置项目监控报警规则

离线集成

• OpenGauss输出组件支持一键建表功能。

• 关系型数据库管道任务支持将datetime类型字段作为切分键，以提高数据导入的并发量。

• Hive输出组件新增支持NULL值替换。

• 配置OpenGauss输出组件

• 集成组件库开发说明

• 配置Hive输出组件

资产清单

• 支持在资产清单搜索框切换查看Dataphin资产和从数据源采集到的业务系统资产。

• 支持在我的足迹查看最近浏览、最近收藏、最近使用的资产，您也可以前往个人数据中心查看全量收藏的资产。

• Dataphin资产：即计算源表、指标、函数、项目、数据源、API等。

  • 指标列表新增数据板块/主题域视角导航，可快速切换查看不同范围的指标。

  • 逻辑表字段详情新增展示开发阶段配置的备注信息。

• 业务系统资产：即从数据源采集到的资产。

  • 支持按照来源数据源和归属业务系统两个视角查看采集到的数据源表。

  • 支持按照来源数据源、Schema、所属业务系统等条件筛选数据源表。

  • 支持查看数据源表详情，包括数据源表属性、字段列表、血缘&影响、质量概况（仅生产表）等。

  • 支持查看DDL语句、生成select语句、反馈质量问题（仅生产表）、导出字段、申请数据源权限等快捷操作。

• 查看资产清单

• 指标详情

• 逻辑表和字段详情

数据安全

• 一级数据分类目录支持设置管理员及其包含的分类的详情管理权限，实现分类管理权限的下放以及分类配置信息的敏感保护。

• 新增支持按照全部分类和指定目录下所有分类动态选择分类范围。

  • 全部分类：每次执行时将圈选的数据范围和全局数据分类进行匹配。

  • 指定目录下所有分类：选择分类目录后，每次执行时将动态获取归属该目录及其子目录下的最新数据分类进行匹配，新增分类后无需手动修改识别规则。

• 新建及管理数据分类

• 新建及管理识别规则

数据服务

新增数据服务功能模块，包括市场与调用、服务开发、服务运维、服务管理功能，数据服务是基于Dataphin建设数据中台的最后一步，作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。

数据服务概述

个人数据中心

• 支持查看我在资产清单收藏的所有资产，包括数据表、API、指标和标准。

• 支持查看我所负责的全量表资产。

查看及管理我负责的资产

启动维护/升级

跨租户发布期间，支持进行部分不影响生产环境数据的操作，包括：可访问运维、发布、分析、资产清单和权限管理模块，可提交开发项目下的集成任务和开发对象，但不支持发布操作。

维护/升级Dataphin

文件名规范

新增文件名规范功能，对于上传到Dataphin的文件进行文件名的前缀和后缀校验，只有同时符合前缀和后缀规范的文件才能上传成功。

管理文件名规范

名称

功能描述

相关文档

全局

• 菜单导航优化：支持收藏菜单快捷定位、首页直接查看二级导航、顶部导航全新升级。

• 全局视觉优化：除了数据开发及数据服务外，其他页面由传统的深色风格转变为了明亮的浅色主题。更轻盈的颜色搭配不仅可以减轻视觉疲劳，还可以引导使用者的注意力自然而然地集中到页面的主要内容，从而提升工作效率。

无

权限管理

权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善的安全权限系统，保障数据安全。支持申请数据表、数据源、变量、密钥、API的权限，并可以对数据表或数据源的权限操作、资产权限进行审计。

用户角色和权限

数据源管理

数据源可用于读取原始数据和写入数据建设。Dataphin集成了丰富的数据引擎，支持大数据存储数据源、消息队列数据源、关系型数据源、文件数据源、NoSQL数据源、半结构化存储数据源及自定义数据源。

• 数据源管理概述

• Dataphin支持的数据源

跨租户发布

跨租户发布数据用于迁移租户间的数据，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。支持导出发布包、导入发布包、管理全局、数仓规划、数据架构、编码研发、数据标准、数据质量、数据安全待发布对象。

跨租户发布概述

数仓规划

数仓规划是数据建设中的蓝图，在开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、项目及项目中的成员。

数仓规划概述

离线集成

数据集成是Dataphin的能力模块，是简单高效的数据同步平台，提供强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。

数据集成概述

数据建设

数据建设支持离线代码研发、实时代码研发、智能建模研发、流批一体研发等多种研发方式，其中首创的智能建模研发模式通过设计即开发的数据模型设计+自动化代码开发提供高效的数据研发生产力。

数据开发概述

分析平台

分析平台是一个面向个人视角，快速便捷的数据平台。

• 支持创建Notebook任务，记录您的分析思路与过程，包括代码、运行结果与分析结论等。

• 支持创建SQL查询并编写SQL代码查询所需的数据，对查询结果进行可视化统计与分析。

• 支持手工创建与编辑生产环境的数据表。

分析平台概述

基础运维

数据集成、数据开发功能开发的任务提交或发布后，可以对提交的任务和生成的实例进行多方位的运维管理，包括任务运维、实例运维等。

运维中心概述

智能运维

智能运维包含基线监控及限流配置功能，为业务数据产出时效性及系统稳定性提供保障，同时能降低人工运维成本，提升运维效率。

基线监控概述

资产清单

资产清单为您展示不同资产对象类型的元数据信息，同时支持搜索、访问及收藏等功能，为您提供高效、快捷、准确的数据查找入口。

资产清单概述

数据标准

数据标准是为业务、技术和管理提供服务和支持。包括数据标准、标准集、落标映射规则、标准代码（码表）、词根等功能。

数据标准概述

数据质量

数据质量提供全链路的资产质量方案，包括质量大盘、配置质量规则、查看校验记录、质量监控、智能报警、查看质量报告、质量治理等功能。

资产质量概述

数据安全

数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。

资产安全概述

资源治理

资源治理支持您进行数据使用消耗分析，从全局视角把控计算和存储成本，提升资源使用效率，构建可管控的数据资产健康体系。

资源治理概述

告警中心

您可以查看Dataphin中不同模块的告警信息，包括离线计算、实时计算、基线监控、数据质量等功能。

告警事件

通知中心

您可以查看Dataphin中不同消息来源的信息，包括权限管理、流程控制、资源治理、资源用量、租户管理、数据标准、治理工作台、系统消息等。

查看系统消息

OpenAPI

OpenAPI能够提供灵活多样的功能，是所有模块都要提供的标准能力。

OpenAPI列表

元数据共享模型

元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务的适配性；也可以对数仓开发任务等进行更细粒度的盘点和分析，以辅助决策优化。

元数据仓库共享模型概述