2022年Dataphin版本文档更新动态_智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

本文为您介绍2022年Dataphin版本文档更新动态，方便您及时了解Dataphin版本新增特性及功能变更。

2022年11月

更新时间	特性	描述	类别	产品文档
2022年11月22日	新增公共云免费试用功能	支持在线申请Dataphin免费试用，可试用30天。包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。新增免费试用申请流程、免费试用服务协议相关文档。	新增说明	Dataphin免费试用申请、Dataphin智能数据建设与治理试用服务协议

2022年10月

更新时间	特性	描述	类别	产品文档
2022年10月25日	资源用量详情抽屉优化	新增支持查看当前可用数据处理单元规格上线。新增数据标准、智能运维的用量统计。	更新说明	查看资源使用情况
2022年10月25日	数据源增加	新增达梦数据源。 Kafka数据源支持流数据服务Confluent 商业版本的用户名密码认证，并在用户名密码认证模式下支持SSL。	新增说明	创建达梦（DM）数据源、创建Kafka数据源
2022年10月25日	主题域升级	支持最多创建5级主题域及支持以树形结构和图形看板样式展示主题域层级关系。	更新说明	创建并管理主题域
2022年10月25日	业务可视化、逻辑表优化	支持业务可视化。新增业务对象之间、业务对象和业务活动之间、业务活动之间的关系类型配置。新增支持创建枚举业务对象及虚拟业务对象，并在创建相关逻辑表时可关联该类型的对象。逻辑表整体功能优化，如提交详情优化、派生指标支持使用最大分区、逻辑表创建优化等功能。	更新说明	创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表、创建枚举维度逻辑表
2022年10月25日	研发菜单树和编辑器升级	编辑器体验、版本对比、调度参数等功能优化。支持在代码任务中对全局变量进行调用。对于敏感变量，支持权限申请和代码上线审批流程。	更新说明	调度配置
2022年10月25日	代码任务和即席查询性能优化	新增支持load overwrite语法。代码任务支持的资源文件引用方式优化。即席查询性能优化，降低等待调度资源的时间。	更新说明	管理计算任务
2022年10月25日	开源Flink引擎优化	开源Flink引擎下支持自定义实时连接器、Flink 1.14引擎版本下支持MySQL、PostgreSQL的CDC connector。	更新说明	创建Flink SQL任务
2022年10月25日	新增智能运维	新增智能运维增值模块，包括调度限流和基线运维。	新增说明	基线监控配置、限流配置
2022年10月25日	补数据功能升级	新增支持快速过滤暂停调度任务极其下游节点。支持对选中的暂停调度任务设置空跑、正常运行、暂停运行的运行方式。开源Flink引擎下，支持在Dataphin平台查看任务运行分析。支持离线周期和补数据实例运行异常原因诊断。重跑、强制重跑、补数据、Sql任务资源分配逻辑优化。	更新说明	补数据、实例运行诊断
2022年10月25日	新增数据标准功能	支持标准集的属性配置、数据标准的批量导入、下载及上线管理、码表和词根的配置管理。新增落标映射规则管理配置。支持数据标准的标准集创建及发布、审批、下线等全线生命周期管理。	新增说明	新建和管理标准集、新建和管理数据标准、新建和管理落标映射规则、新建和管理标准代码（码表）、新建和管理词根、新建和管理标准集目录
2022年10月25日	资产安全脱敏算法、密钥管理、生产安全模式优化	支持底层脱敏和仅展示脱敏配置。识别规则支持字段名黑名单，增加识别规则、脱敏规则、白名单操作说明。安全算法支持自动更新和批量操作。支持安全模块的安全策略算法包的自动安装和查看安装日志。脱敏算法新增加解密算法以及支持加解密算法消费。密钥管理支持加解密密钥。生产安全模式强化，生产数据保护扩展到Basic项目。	更新说明	管理动态脱敏规则、项目安全策略、脱敏算法、密钥管理
2022年10月25日	数据表质量规则和质量规则模块升级	支持多种数据源表的质量监控，支持数据源连通性及表结构异动性监控。内置丰富的质量规则模板。资产报告升级，可从资源粒度查看分析质量概况，并支持下载异常数据进行归档。质量负责人权限升级，新增支持新建、编辑、删除质量规则、并执行规则试跑权限。支持Oracle、PostgreSQL、SQL Server、SAP HANA不同数据类型及添加质量规则功能优化。	更新说明	创建数据表质量规则、新建数据源规则、查看质量报告
2022年10月25日	MaxCompute和DLF计算引擎优化	支持Dataphin可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理。	更新说明	设置Dataphin实例的计算引擎
2022年10月25日	输入组件、数据源优化	API输入组件支持数据源读取。 csv输入组件可上传的文件大小从50M拓展到500M。数据集成支持kafka、DataHub数据源。输入输出组件支持复制表名。一键建表到项目引擎源时，元数据自动同步到资产。 SAP HANA支持跨schema 读取。 MongoDB数据库支持中文字段名、兼容存储浮点数的字段存在NaN无效值情况。 FTP输入组件支持空文件的处理规则及内容起始行的配置。支持脚本模式进行集成任务配置，支持OTS数据源。新增的clickhouse、kafka、datahub、kudu、达梦等组件模板，并适配不同引擎的项目计算源模板。支持ElasticSearch数据源脚本模式读写。	更新说明	创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件
2022年10月25日	资产权限新增权限审计模块	可以对自己的权限进行审计。	新增说明	权限操作审计
2022年10月25日	数据服务性能优化	API服务性能优化，增加网络配置说明。 API搜索框支持通过API名称或API_ID进行搜索。支持前端水印。支持Hologres数据源。支持在Select区域用参数参与计算。	更新说明	配置网络、数据服务概述
2022年10月25日	逻辑表功能优化及SQL任务升级	逻辑表DML支持部分字段insert和动态分区。	更新说明	创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表、创建枚举维度逻辑表
2022年10月25日	逻辑表功能优化及SQL任务升级	SQL任务支持cost、reload function、except all函数、set yarn.timeline-service.enabled=true语法。 SQL任务支持 clone table。	更新说明	DML操作
2022年10月25日	项目访客权限优化	新增数据访问者、普通访客角色。	更新说明	管理项目空间的权限和计算源

2022年07月

更新时间	特性	描述	类别	产品文档
2022年07月19日	新增可售卖版本	售卖版本新增基础研发版和敏捷研发版。	更新说明	购买指引
2022年07月19日	维度、业务过程、数据域升级	业务板块升级为数据板块，数据域升级为主题域。维度更名为业务对象，业务过程更名为业务活动，并增加三种子类型：事件、业务流程和业务快照。	更新说明	创建并管理业务实体创建并管理业务活动创建并管理主题域
2022年07月19日	离线管道功能增强	支持项目中的物理表作为管道任务中的来源表或目标表，并且支持管道任务克隆。	更新说明	配置离线单条管道
2022年07月19日	汇总逻辑表升级	新增衍生指标，可以基于已有的派生指标，通过二次运算快速创建新的指标。汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制，允许上挂所有的有读权限的物理表字段。	更新说明	什么是Dataphin 添加派生指标和衍生指标新建注册上挂标签
2022年07月19日	增加回收站功能	可以将删除的数据处理任务还原。	新增说明	管理回收站的资源对象
2022年07月19日	实时研发新增支持Ververcia Flink引擎	支持Flink SQL流批任务。支持元表、镜像表。支持预编译、调试、测试、运维。支持粗粒度资源配置。	新增说明	新建镜像表新建元表创建Flink SQL任务创建Flink DataStream任务
2022年07月19日	资产目录、详情功能增强	资产目录体验升级。新增资产对象（指标）。资产详情页交互优化，新增该资产的查看权限列表和使用说明两个功能。	更新说明	资产目录资产详情数据资产权限列表资产安全概述
2022年07月19日	资产权限变更优化	权限即将到期、到期、赋权、回收时发送站内信及邮件通知。支持查看所属账号的表权限申请记录，管理员可查看表权限操作记录。新增批量授权、批量回收表权限。支持物理视图和逻辑视图的权限申请。实时元表权限支持批量授权，支持实时计算的元表、镜像表的批量授权。	更新说明	数据资产权限列表
2022年07月19日	资产安全模块权限体系优化	新增项目安全策略，用于对项目安全策略进行统一管理与审计；同时支持资产安全策略的自动安装，并可以查看算法安装日志，精确掌握安装状态。自定义掩码算法优化，新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。	更新说明	项目安全策略脱敏算法
2022年07月19日	资产质量新增全局角色定义	新增系统管理员、数据源管理员、安全管理员、资产质量负责人等。	更新说明	添加、配置及管理Dataphin成员
2022年07月19日	新增发布管控功能	基于任务名称、任务所属项目、发布人、发布时间等元数据，通过可视化表单配置或自定义SQL的方式，定义变更校验规则。支持定义变更管控策略，基于定义好的变更校验规则，配置校验时间区间和校验范围，针对校验不通过的发布申请，可设置为阻断发布或警告提示，以实现特定场景下的发布管控，降低风险。	新增说明	变更管控概述
2022年07月19日	任务中心与消息中心体验提升	任务中心与消息中心体验提升，文档优化。	更新说明	查看系统消息查看并处理任务

2022年05月

更新时间	特性	描述	类别	产品文档
2022年05月12日	语法能力增强	新增支持DESC EXTENDED、ROW FORMAT SERDE、TBLPROPERTIES、SHOW FUNCTIONS、LISTFUNCTIONS、MSCK REPAIR TABLE、DELETE WHERE语句说明。	新功能	DDL语句 DML操作函数操作
2022年05月12日	支持创建Shell、Python任务的代码模板	补充创建Shell与Python任务时的模板描述。	新功能	创建、配置并提交离线计算模板
2022年05月12日	支持运行超过24小时的任务自动终止	补充查询并下载数据的注意事项。	更新说明	查询并下载数据
2022年05月11日	事实逻辑表支持单个字段关联多个维度逻辑表	优化创建事实逻辑表相关内容。	新功能	创建并配置事实逻辑表
2022年05月10日	引导页、ID中心、平台管理、标签中心能力升级	优化标签中心、行为中心描述；新增平台管理、ID中心功能描述。	新增说明	萃取概述
2022年05月10日	创建OceanBase数据源升级	创建OceanBase数据源参数内容更新。	更新说明	创建OceanBase数据源
2022年05月09日	新增安全设置	支持针对跨项目及生产环境的数据操作增加管控说明。	新功能	安全设置
2022年05月08日	新增支持ClickHouse数据源	新增支持ClickHouse数据源，您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。	新功能	创建ClickHouse数据源
2022年05月08日	脚本实例和逻辑表实例支持的运维操作功能增强	补数据能力升级：支持海量补数据，拓展补数据配置等。	新功能	补数据
		补数据实例支持批量操作：新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例。	更新说明	补数据实例
		批量操作升级：逻辑表实例列表、补数据实例列表批量操作内容优化。	更新说明	逻辑表实例补数据实例
		新增强制重跑下游操作，以实现全链路数据修复性重跑。	新功能	脚本实例逻辑表实例支持的运维操作萃取实例
		告警策略优化：针对配置了运行失败监控的实例，告警策略由每次运行失败均告警修改为仅最后一次自动重试运行仍失败才告警。	更新说明	配置离线监控报警规则配置实时监控报警规则
2022年05月07日	识别规则任务支持自定义调度配置及运行日期黑名单	识别规则内容调整以及优化。	更新说明	创建、配置及手动触发识别规则
2022年05月06日	元数据注册功能升级	元数据注册修改为治理项管理。	更新说明	管理元数据
2022年05月05日	新增数据服务权限说明	新增数据服务权限相关描述。	新增说明	数据服务权限说明

2022年03月

数据服务权限说明

更新时间	特性	描述	类别	产品文档
2022年03月03日	Basic项目支持开启机器学习开关	增加开启机器学习开关后的相关描述。	更新说明	创建项目
2022年03月03日	Dev-Prod项目支持开启机器学习开关	增加开启机器学习开关后的相关描述。	更新说明	创建项目
2022年03月03日	支持创建机器学习任务	新增如何创建并配置机器学习任务的相关描述。	新增说明	创建并配置机器学习任务
2022年03月03日	支持PAI Designer任务的运维与监控	运维中心的细分类型新增PAI_DESIGNER，同时支持对PAI Designer任务配置监控报警规则。	更新说明	周期任务通用说明手动任务周期实例通用说明手动实例配置离线监控报警规则

2022年02月

更新时间	特性	描述	类别	产品文档
2022年02月09日	优化数据服务概述	优化数据服务概述中使用场景说明的图片。	更新说明	数据服务概述
2022年02月18日	新增Dataphin出网IP地址	在连通业务数据库与Dataphin间的网络时，您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。	新增说明	Dataphin出网IP地址
2022年02月18日	新增数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案	在Dataphin中添加RDS类型数据源时，进行测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案。	新增说明	数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案