文档更新动态

本文为您介绍Dataphin版本文档更新动态,方便您及时了解Dataphin版本新增特性及功能变更。

2023年04月

更新时间:2023年04月06日

特性

描述

类别

相关文档

新增计算引擎

新增支持Hologres计算引擎。当计算引擎选择MaxCompute时,项目可以绑定Hologres或者MaxCompute计算源其中一种。

新增说明

成员管理优化

  • 支持自定义项目角色,并支持批量角色替换。

  • 支持一键转交某个用户负责的对象(如数据源)和权限给其他用户,并可查看转交记录。

更新说明

新增数据源及数据源功能优化

  • 离线集成新增支持OpenGauss数据源、SAP Table数据源、StarRocks数据源、Hudi数据源、Doris数据源、Greenplum数据源。

  • 实时研发支持StarRocks数据源。

  • 数据源功能优化:

    • Kafka数据源在Kerberos认证时支持上传jaas文件;并支持Confluent Kafka的Schema Registry功能。

    • MySQL数据源支持SSL加密。

    • API数据源认证方式新增API Key以及Token认证方式。

    • MongoDB支持多版本(3.2、3.4及以上)。

新增说明

计算源优化

支持MaxCompute、Flink计算源的批量创建。

更新说明

计算设置优化

当计算引擎设置为MaxCompute时,支持切换计算设置中的endpoint。

设置Dataphin实例的计算引擎为MaxCompute

新增公共定义

新增公共日历功能,支持自定义多套日历,可指定日期为休假或工作日,并支持日期标签管理。

新增说明

项目管理优化

Flink SQL任务支持使用全局变量。

更新说明

创建项目

规范建模功能升级

  • 规范建模提交流程优化,缩短提交耗时。

  • 事件事实逻辑表支持设置延迟数据处理,自动重跑设置该周期的事实逻辑表实例。

  • 事件事实逻辑表支持单实例补多周期数据,可补当前节点的最多30天的分区。

  • 支持删除本板块逻辑表的分区。

  • 原子指标增加度量单位:手,张,笔,次,包,个,吨,公斤。

  • 计算逻辑配置优化,包括计算逻辑校验优化、预览计算逻辑优化等。

  • 进入调度和参数配置页面时, 自动触发依赖解析,并进行非空校验。

更新说明

新增及优化输入输出组件

  • 新增输入输出组件,包括GreenPlum输入组件与输出组件、Kudu输入组件、Elasticsearch输入组件、API输出组件。

  • 组件功能优化,包括新增GET_JSON_OBJECT函数,可解析JSON格式的字符串,并返回path指定的内容、新增COALESCE函数,可返回第一个非空值。

  • 数据源扩展,新增OpenGauss数据源、StarRocks数据源读写和SAP Table输入组件,可通过SAP rfc的方式读取SAP数据。

  • 集成组件优化:

    • Oracle输出组件支持设置登录超时时间及查询超时时间。

    • FTP输入组件新增支持xls、xlsx格式。

    • FTP输出组件新增导出压缩文件选项,可支持不压缩,或zip、gzip格式导出;加载策略新增支持文件名冲突报错策略,文件名冲突时任务运行报错。

    • Hologres输入输出组件的表选项不支持视图。

    • 当Kafka为Confluent Kafka时,可支持使用schema registry,输入输出组件的键和值的类型新增Kafka Avro。

    • API输入组件新增URL路径配置项。

    • MaxCompute输入输出组件支持读取Date类型,写入支持Date、Tinyint、Smallint、Float类型。

    • OSS输入输出组件支持设置行分隔符。

  • 整库迁移任务支持配置上游依赖。

新增说明

自定义函数优化

  • 新建及修改MaxCompute自定义函数时,支持选择后缀为jar及py的资源。

  • 新增表管理功能,包括物理表的创建、删除、修改、导入数据、查看;支持查看物理表字段信息、支持在列表中编辑字段、导入字段。

  • 支持MaxCompute引擎的全部开窗函数以及所有开窗语法。

  • SQL任务中表DDL语句支持用变量的方式定义表名称。

更新说明

新建用户自定义函数

元表及Flink SQL任务升级

  • Flink SQL任务支持缓存最近一次调试测试数据。

  • 实时研发新增支持StarRocks数据源,支持作为来源表、目标表。

  • 实时研发对于停止的任务,重启时支持选择从上个状态开始运行。

  • 元表体验优化,如Flink DDL导出支持一键复制代码、元表字段SQL导入根据元表的数据源类型给出不同的参考示例等。

  • 实时代码模板支持一套代码多种配置多次运行。

  • Flink SQL支持Flink原生DDL语句,支持配置是否允许使用Flink原生DDL语句。

  • 实时研发支持在任务中配置开发环境的计算源的版本和队列。

更新说明

调度配置优化

  • 当任务的调度类型为正常调度时,支持开启条件调度配置,开启后周期实例和补数据实例都将按照配置的规则执行调度,以支持同一个任务在不同条件组合下采取不同的调度方式:

    • 可根据业务日期在日历中的属性、输入参数组合为条件设置调度属性。

    • 可支持多组调度条件设置。

    • 开启条件调度后,周期实例和补数据实例都将使用条件调度的规则进行调度。

  • 新增任务级别运行超时时长、失败自动重跑次数和重跑间隔的设置;单个任务可选遵循租户级别设置或自定义设置。

更新说明

调度配置

基础运维功能升级

  • 补数据:

    • 选中的任务节点存在跨周期依赖时,补数据并发组数不可大于1,以保证数据依赖的正确性。

    • 周期任务列表及周期实例列表的筛选项优化。

    • 新增支持配置补数据实例运行顺序,可按照业务日期正序或倒序进行补数。

    • 新增按周期补数据,可指定每周或每月固定日期进行补数据,也支持选择月末,根据不同月份自动推算具体日期。

    • 新增支持导出或查看已选节点列表。

    • 新增支持快捷排除暂停节点及其下游。

    • 新增补数据节点选择方式,包括当前节点的全部下游、指定一级子节点及其全部下游、起点到指定终点的链路上的所有节点。

  • 其他:

    • 运行日志页面增加自动重跑标识以区分手动重跑。

    • 未运行状态的实例新增支持手动直接置为成功操作。

更新说明

资产全景及目录功能升级

  • 数据表产出任务包含范围拓展(以当前表为输出表的集成任务、以当前表为输出表的自定义血缘任务和系统解析的血缘任务),并优化产出信息展示,可查看单个任务的平均开始/结束运行时间、平均运行时长、实例列表等。

  • 针对配置了质量监控规则的数据表,支持快捷查看质量报告,针对未配置质量监控规则的数据表,支持快速创建质量规则入口。

  • 血缘展示范围拓展基于集成任务从业务库同步到计算源、从计算源回流到业务库的全域数据表血缘。

更新说明

新增用户组权限及数据表权限优化

  • 申请表权限时,展示字段的安全分类及等级。

  • 新增用户组权限管理。

  • 取消系统管理员默认获取的全局的数据权限,系统管理员需要权限时可以将自己加入项目活给自己授权。

更新说明

数据标准功能优化

  • 公共标准集属性拆分系统属性及自定义属性;新建标准集属性,可引用系统内置的公共属性及自定义公共属性。

  • 系统内置数据类型系统属性,可结合资产对象的元数据信息进行落标监控。

  • 新增范围值类型的属性用于定义值域等约束信息,支持输入枚举值、引用码表、定义区间值的定义方式。

  • 支持从标准视角和资产对象视角来查看全局落标明细。

  • 支持在创建数据标准时快速创建相关的质量监控规则,针对该标准映射成功的资产对象,可以在数据质量页面快速引用添加对应标准配置的质量规则,实现资产的内容质量监控。

  • 新增标准整体功能及使用流程引导图。

  • 支持在标准集列表快速创建对应的数据标准、批量导出数据标准、快速创建映射规则。

更新说明

新增批量添加质量规则及质量规则优化

  • 新增支持批量配置质量规则。

  • 支持数据源表结构异动的校验记录查看,可查看异动的对比详情。

  • 新增跨源两表字段统计值一致性的质量规则模板,用于跨数据源的数据对比。

  • 有效性/字段格式校验的规则模板增加like表达式,开头是、结尾是匹配方式;增加手机号、固定电话、身份证号、邮箱、银行卡号等内置表达式。

  • 质量分区表达式增加内置的小时分区ds='${yyyyMMdd HH}' 。

  • 支持配置是否按照分区表达式触发质量校验。

  • 支持直接引用当前表包含的字段映射到的数据标准已配置质量监控规则,实现对数据标准的主动关联稽核。

  • 调度方式为定时调度时,支持配置调度条件,以支持仅在固定日期下触发质量规则调度。

更新说明

安全识别规则及识别记录优化

  • 支持查看识别结果的详情信息,包括生效及命中规则以及仲裁结果。

  • 支持指定项目用于扫描任务执行,以节省计算资源。

  • 支持数据采样缓存用户安全识别,可降低资源消耗,使识别结果更稳定,提升识别的执行记录及准确性。

  • 支持用户主动添加识别记录,包括单字段添加、批量添加,及Excel的批量上传。

  • 支持手动锁定识别记录,锁定后识别结果保持不变。

  • 识别规则配置优化:识别范围、识别方式支持且、或的最多2层的组合;识别支持阈值设定。

  • 资产安全内置多种常用的识别规则,如身份证号、地址、中文姓名等。

  • Hologres引擎支持使用数据库原生函数进行脱敏,无需安装算法包即可实现数据的脱敏保护。

  • 新增默认脱敏策略功能,支持根据数据分级配置默认脱敏策略,以保障未被识别规则覆盖的敏感数据能被脱敏。

更新说明

数据服务功能优化

  • 应用、服务单元、API、Dataphin数据源权限的授权以及应用创建、服务单元和应用负责人转交无需发起审批流程。

  • 支持通过Mybatis标签的SQL语法来编写查询逻辑。标签类型包括:if、choose、when、otherwise、trim、foreach和where。

  • 数据服务支持页面水印。

  • Dataphin数据源选择范围,新增Hologres数据源。

  • 新增API支持回退到第一步切换新增方式。

  • API向导模式交互优化,提升用户体验感。

更新说明

新增消息模板

  • 新增内置消息模板选择。

  • 支持配置收件人变量以动态修改收件人。

新增说明

消息模板

审批任务详情优化

数据表权限审批任务详情增加申请的数据表所属空间信息(项目及业务板块)。

更新说明

查看并处理任务

2023年01月

更新时间:2023年01月12日

特性

描述

类别

产品文档

新手引导

跟随新手引导,您可以快速上手了解Dataphin的功能,体验数据模型建设的基本流程。

新增说明

Dataphin新手引导

内置模型

Dataphin内置零售行业数据模型,可快速导入体验模型建设功能。注意,仅升级后开通Daaphin服务的新客户可使用内置模型。

新增说明

导入模型

新增浏览器

新增支持奇安信浏览器。

更新说明

使用限制

数据源增加

  • 新增支持南大通用Gbase 8a数据源、TiDB数据源、人大金仓KingBase数据源、GoldenDB数据源。

  • Kafka数据源支持连通性校验。

新增说明

创建编辑逻辑表优化

创建编辑逻辑表流程向导化,提升操作体验。

更新说明

新增及优化输入输出组件

  • 新增五种数据源输入输出组件,包含南大通用Gbase 8a、TiDB、人大金仓KingBase、GoldenDB、IMPALA。

  • API组件支持输出中文字段。

  • Teradata输入输出组件不支持选择视图。

  • 新增函数支持将二进制类型转换成十六进制字符串。

  • 离线集成任务新增自动解析依赖功能:

    • 支持自动解析添加上游物理节点或逻辑表节点。

    • 支持自动解析添加任务输出名称。

    • 支持一键添加根节点为上游依赖节点。

新增说明

新增自定义血缘及运行记录

  • MaxCompute引擎的Spark任务支持访问逻辑表,并增加权限校验。

  • 支持非SQL任务自定义配置血缘关系,包括输入输出表及输入输出字段,并在血缘页面展示。

  • 新增运行记录功能,提供查看代码、查看执行日志、停止运行、下载结果等功能。

新增说明

元表及Flink SQL任务优化

  • 元表创建及使用优化。

  • Flink SQL任务支持SQL Hints。

  • 阿里云实时计算Flink引擎下流批一体任务支持绑定不同计算源。

更新说明

项目设置优化

支持在项目设置中开启发布审批,支持自定义审批人。

更新说明

新增运行配置

支持配置租户级任务超时时间、 自动重试次数和重跑间隔。

更新说明

运行配置

数据表详情优化

数据表血缘关系新增自定义血缘的展示,支持查看血缘关系对应的产出任务类型。

更新说明

表级权限的申请、授权与鉴权升级

支持按照表级进行权限的申请、授权与鉴权;提升权限申请和授权效率。

更新说明

申请、续期和交还表权限

数据标准功能升级

  • 数据标准集创建及使用体验优化,标准集属性支持配置默认值、配置可见范围和配置审批模板。

  • 支持查看全量标准,可跨标准集检索。

  • 支持查看落标规则执行记录列表以及单个任务执行的落标结果明细。

  • 新增公共标准集属性。

  • 新增支持自定义标准审批流程模板。

更新说明

数据表质量规则优化

  • 新增数据源连通性和表结构异动检测支持的数据源。

  • 全域资产质量新增支持的数据源包括:IBM DB2、AnalyticDB for PostgreSQL、Hologres、ClickHouse、DM(达梦)、HANA。

更新说明

识别规则及识别任务优化

  • 识别规则支持手动执行和更新。

  • 增加安全识别任务的展示,可以查看历史识别任务结果和字段识别详情。

更新说明

调用示例优化

支持python语言的调用案例和操作说明。

更新说明

调用Dataphin数据源

2022年11月

更新时间

特性

描述

类别

产品文档

2022年11月22日

新增公共云免费试用功能

  • 支持在线申请Dataphin免费试用,可试用30天。包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。

  • 新增免费试用申请流程、免费试用服务协议相关文档。

新增说明

Dataphin免费试用申请Dataphin智能数据建设与治理试用服务协议

2022年10月

更新时间

特性

描述

类别

产品文档

2022年10月25日

资源用量详情抽屉优化

  • 新增支持查看当前可用数据处理单元规格上线。

  • 新增数据标准、智能运维的用量统计。

更新说明

查看资源使用情况

2022年10月25日

数据源增加

  • 新增达梦数据源。

  • Kafka数据源支持流数据服务Confluent 商业版本的用户名密码认证,并在用户名密码认证模式下支持SSL。

新增说明

创建达梦(DM)数据源创建Kafka数据源

2022年10月25日

主题域升级

支持最多创建5级主题域及支持以树形结构和图形看板样式展示主题域层级关系。

更新说明

创建并管理主题域

2022年10月25日

业务可视化、逻辑表优化

  • 支持业务可视化。

  • 新增业务对象之间、业务对象和业务活动之间、业务活动之间的关系类型配置。

  • 新增支持创建枚举业务对象及虚拟业务对象,并在创建相关逻辑表时可关联该类型的对象。

  • 逻辑表整体功能优化,如提交详情优化、派生指标支持使用最大分区、逻辑表创建优化等功能。

更新说明

创建并配置普通维度逻辑表创建并配置层级维度逻辑表创建虚拟维度逻辑表创建枚举维度逻辑表

2022年10月25日

研发菜单树和编辑器升级

  • 编辑器体验、版本对比、调度参数等功能优化。

  • 支持在代码任务中对全局变量进行调用。

  • 对于敏感变量,支持权限申请和代码上线审批流程。

更新说明

调度配置

2022年10月25日

代码任务和即席查询性能优化

  • 新增支持load overwrite语法。

  • 代码任务支持的资源文件引用方式优化。

  • 即席查询性能优化,降低等待调度资源的时间。

更新说明

管理计算任务

2022年10月25日

开源Flink引擎优化

开源Flink引擎下支持自定义实时连接器、Flink 1.14引擎版本下支持MySQL、PostgreSQL的CDC connector。

更新说明

创建Flink SQL任务

2022年10月25日

新增智能运维

新增智能运维增值模块,包括调度限流和基线运维。

新增说明

基线监控配置限流配置

2022年10月25日

补数据功能升级

  • 新增支持快速过滤暂停调度任务极其下游节点。

  • 支持对选中的暂停调度任务设置空跑、正常运行、暂停运行的运行方式。

  • 开源Flink引擎下,支持在Dataphin平台查看任务运行分析。

  • 支持离线周期和补数据实例运行异常原因诊断。重跑、强制重跑、补数据、Sql任务资源分配逻辑优化。

更新说明

补数据实例运行诊断

2022年10月25日

新增数据标准功能

  • 支持标准集的属性配置、数据标准的批量导入、下载及上线管理、码表和词根的配置管理。

  • 新增落标映射规则管理配置。

  • 支持数据标准的标准集创建及发布、审批、下线等全线生命周期管理。

新增说明

新建和管理标准集新建和管理数据标准新建和管理落标映射规则新建和管理标准代码(码表)新建和管理词根新建和管理标准集目录

2022年10月25日

资产安全脱敏算法、密钥管理、生产安全模式优化

  • 支持底层脱敏和仅展示脱敏配置。

  • 识别规则支持字段名黑名单,增加识别规则、脱敏规则、白名单操作说明。

  • 安全算法支持自动更新和批量操作。

  • 支持安全模块的安全策略算法包的自动安装和查看安装日志。

  • 脱敏算法新增加解密算法以及支持加解密算法消费。

  • 密钥管理支持加解密密钥。

  • 生产安全模式强化,生产数据保护扩展到Basic项目。

更新说明

管理动态脱敏规则项目安全策略脱敏算法密钥管理

2022年10月25日

数据表质量规则和质量规则模块升级

  • 支持多种数据源表的质量监控,支持数据源连通性及表结构异动性监控。

  • 内置丰富的质量规则模板。

  • 资产报告升级,可从资源粒度查看分析质量概况,并支持下载异常数据进行归档。

  • 质量负责人权限升级,新增支持新建、编辑、删除质量规则、并执行规则试跑权限。

  • 支持Oracle、PostgreSQL、SQL Server、SAP HANA不同数据类型及添加质量规则功能优化。

更新说明

创建数据表质量规则新建数据源规则查看质量报告

2022年10月25日

MaxCompute和DLF计算引擎优化

支持Dataphin可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理。

更新说明

设置Dataphin实例的计算引擎

2022年10月25日

输入组件、数据源优化

  • API输入组件支持数据源读取。

  • csv输入组件可上传的文件大小从50M拓展到500M。

  • 数据集成支持kafka、DataHub数据源。

  • 输入输出组件支持复制表名。

  • 一键建表到项目引擎源时,元数据自动同步到资产。

  • SAP HANA支持跨schema 读取。

  • MongoDB数据库支持中文字段名、兼容存储浮点数的字段存在NaN无效值情况。

  • FTP输入组件支持空文件的处理规则及内容起始行的配置。

  • 支持脚本模式进行集成任务配置,支持OTS数据源。

  • 新增的clickhouse、kafka、datahub、kudu、达梦等组件模板,并适配不同引擎的项目计算源模板。

  • 支持ElasticSearch数据源脚本模式读写。

更新说明

创建Kafka数据源创建DataHub数据源创建SAP HANA数据源创建MongoDB数据源管理FTP组件配置脚本模式输入组件

2022年10月25日

资产权限新增权限审计模块

可以对自己的权限进行审计。

新增说明

权限操作审计

2022年10月25日

数据服务性能优化

  • API服务性能优化,增加网络配置说明。

  • API搜索框支持通过API名称或API_ID进行搜索。

  • 支持前端水印。

  • 支持Hologres数据源。

  • 支持在Select区域用参数参与计算。

更新说明

配置网络数据服务概述

2022年10月25日

逻辑表功能优化及SQL任务升级

逻辑表DML支持部分字段insert和动态分区。

更新说明

创建并配置普通维度逻辑表创建并配置层级维度逻辑表创建虚拟维度逻辑表创建枚举维度逻辑表

2022年10月25日

  • SQL任务支持cost、reload function、except all函数、set yarn.timeline-service.enabled=true语法。

  • SQL任务支持 clone table。

DML操作

2022年10月25日

项目访客权限优化

新增数据访问者、普通访客角色。

更新说明

管理项目空间的权限和计算源

2022年07月

更新时间

特性

描述

类别

产品文档

2022年07月19日

新增可售卖版本

售卖版本新增基础研发版和敏捷研发版。

更新说明

购买指引

2022年07月19日

维度、业务过程、数据域升级

  • 业务板块升级为数据板块,数据域升级为主题域。

  • 维度更名为业务对象,业务过程更名为业务活动,并增加三种子类型:事件、业务流程和业务快照。

更新说明

2022年07月19日

离线管道功能增强

支持项目中的物理表作为管道任务中的来源表或目标表,并且支持管道任务克隆。

更新说明

配置离线单条管道

2022年07月19日

汇总逻辑表升级

  • 新增衍生指标,可以基于已有的派生指标,通过二次运算快速创建新的指标。

  • 汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制,允许上挂所有的有读权限的物理表字段。

更新说明

什么是Dataphin

2022年07月19日

增加回收站功能

可以将删除的数据处理任务还原。

新增说明

管理回收站的资源对象

2022年07月19日

实时研发新增支持Ververcia Flink引擎

  • 支持Flink SQL流批任务。

  • 支持元表、镜像表。

  • 支持预编译、调试、测试、运维。

  • 支持粗粒度资源配置。

新增说明

2022年07月19日

资产目录、详情功能增强

  • 资产目录体验升级。

  • 新增资产对象(指标)。

  • 资产详情页交互优化,新增该资产的查看权限列表和使用说明两个功能。

更新说明

2022年07月19日

资产权限变更优化

  • 权限即将到期、到期、赋权、回收时发送站内信及邮件通知。

  • 支持查看所属账号的表权限申请记录,管理员可查看表权限操作记录。

  • 新增批量授权、批量回收表权限。

  • 支持物理视图和逻辑视图的权限申请。

  • 实时元表权限支持批量授权,支持实时计算的元表、镜像表的批量授权。

更新说明

数据资产权限列表

2022年07月19日

资产安全模块权限体系优化

  • 新增项目安全策略,用于对项目安全策略进行统一管理与审计;同时支持资产安全策略的自动安装,并可以查看算法安装日志,精确掌握安装状态。

  • 自定义掩码算法优化,新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。

更新说明

2022年07月19日

资产质量新增全局角色定义

新增系统管理员、数据源管理员、安全管理员、资产质量负责人等。

更新说明

添加、配置及管理Dataphin成员

2022年07月19日

新增发布管控功能

  • 基于任务名称、任务所属项目、发布人、发布时间等元数据,通过可视化表单配置或自定义SQL的方式,定义变更校验规则。

  • 支持定义变更管控策略,基于定义好的变更校验规则,配置校验时间区间和校验范围,针对校验不通过的发布申请,可设置为阻断发布或警告提示,以实现特定场景下的发布管控,降低风险。

新增说明

变更管控概述

2022年07月19日

任务中心与消息中心体验提升

任务中心与消息中心体验提升,文档优化。

更新说明

2022年05月

更新时间

特性

描述

类别

产品文档

2022年05月12日

语法能力增强

新增支持DESC EXTENDED、ROW FORMAT SERDE、TBLPROPERTIES、SHOW FUNCTIONS、LISTFUNCTIONS、MSCK REPAIR TABLE、DELETE WHERE语句说明。

新功能

2022年05月12日

支持创建Shell、Python任务的代码模板

补充创建Shell与Python任务时的模板描述。

新功能

创建、配置并提交离线计算模板

2022年05月12日

支持运行超过24小时的任务自动终止

补充查询并下载数据的注意事项。

更新说明

查询并下载数据

2022年05月11日

事实逻辑表支持单个字段关联多个维度逻辑表

优化创建事实逻辑表相关内容。

新功能

创建并配置事实逻辑表

2022年05月10日

引导页、ID中心、平台管理、标签中心能力升级

优化标签中心、行为中心描述;新增平台管理、ID中心功能描述。

新增说明

萃取概述

2022年05月10日

创建OceanBase数据源升级

创建OceanBase数据源参数内容更新。

更新说明

创建OceanBase数据源

2022年05月09日

新增安全设置

支持针对跨项目及生产环境的数据操作增加管控说明。

新功能

安全设置

2022年05月08日

新增支持ClickHouse数据源

新增支持ClickHouse数据源,您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。

新功能

创建ClickHouse数据源

2022年05月08日

脚本实例和逻辑表实例支持的运维操作功能增强

补数据能力升级:支持海量补数据,拓展补数据配置等。

新功能

补数据

补数据实例支持批量操作:新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例。

更新说明

补数据实例

批量操作升级:逻辑表实例列表、补数据实例列表批量操作内容优化。

更新说明

新增强制重跑下游操作,以实现全链路数据修复性重跑。

新功能

告警策略优化:针对配置了运行失败监控的实例,告警策略由每次运行失败均告警修改为仅最后一次自动重试运行仍失败才告警

更新说明

2022年05月07日

识别规则任务支持自定义调度配置及运行日期黑名单

识别规则内容调整以及优化。

更新说明

创建、配置及手动触发识别规则

2022年05月06日

元数据注册功能升级

元数据注册修改为治理项管理

更新说明

管理元数据

2022年05月05日

新增数据服务权限说明

新增数据服务权限相关描述。

新增说明

数据服务权限说明

2022年03月

数据服务权限说明

更新时间

特性

描述

类别

产品文档

2022年03月03日

Basic项目支持开启机器学习开关

增加开启机器学习开关后的相关描述。

更新说明

创建Basic项目

2022年03月03日

Dev-Prod项目支持开启机器学习开关

增加开启机器学习开关后的相关描述。

更新说明

创建项目

2022年03月03日

支持创建机器学习任务

新增如何创建并配置机器学习任务的相关描述。

新增说明

创建并配置机器学习任务

2022年03月03日

支持PAI Designer任务的运维与监控

运维中心的细分类型新增PAI_DESIGNER,同时支持对PAI Designer任务配置监控报警规则。

更新说明

2022年02月

更新时间

特性

描述

类别

产品文档

2022年02月09日

优化数据服务概述

优化数据服务概述中使用场景说明的图片。

更新说明

数据服务概述

2022年02月18日

新增Dataphin出网IP地址

在连通业务数据库与Dataphin间的网络时,您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。

新增说明

Dataphin出网IP地址

2022年02月18日

新增数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案

在Dataphin中添加RDS类型数据源时,进行测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案。

新增说明

数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案

2021年10月

更新时间

特性

描述

类别

产品文档

2021年10月12日

新增逻辑结构说明

新增了基本概念的逻辑结构说明。

新增说明

逻辑结构说明

2021年10月12日

补充错误码

补充DPN.DataProcess.NodeOutputNameAlreadyExistWithNodeNameDPN.Os.ColumnAuthCheckFailed

更新说明

错误码

2021年10月11日

优化什么是Dataphin

补充了Dataphin产品能力大图、核心功能特性速览等内容。

更新说明

什么是Dataphin

2021年10月9日

新增资产治理概述

资产治理概述中包括了应用场景、功能优势、相关概念和使用流程等内容。

新增说明

治理概述

2021年09月

更新时间

特性

描述

类别

产品文档

2021年09月30日

新增案例介绍

新增了基本概念的案例介绍。

更新说明

案例介绍

2021年09月30日

优化了发布中心概述

新增了使用限制、优化了功能介绍。

更新说明

发布中心概述

2021年09月29日

优化新建自定义组件

优化了新建自定义组件的背景信息,补充了自定义RDBMS数据库的背景。

更新说明

新建自定义组件

2021年09月27日

优化了核心概念

优化了部分的核心概念。

更新说明

核心概念

2021年09月24日

优化了运维中心概述

补充了运维中心的应用场景。

更新说明

概述

2021年09月18日

优化新建加速计算源

基于控制台更新,刷新截图及补充描述。

更新说明

创建加速计算源

2021年09月18日

调整教程和最佳实践架构

将最佳实践和教程的架构进行合并,合并为教程及最佳实践。

更新说明

教程与最佳实践

2021年09月18号

新增资产安全概述

资产安全概述包括应用场景、功能优势、相关概念、使用流程等内容。

更新说明

资产安全概述

2021年09月17号

优化了管理中心概述

补充了使用限制、优化了管理中心概述中的功能介绍部分。

更新说明

管理中心概述

2021年09月13日

调整权限管理架构

将内置角色及权限列表和权限管理内容进行整合。

更新说明

权限管理

2021年09月10日

新增用户角色和权限

补充了Dataphin支持的用户和角色、Datphin权限体系、项目内权限说明等内容。

新增说明

用户角色和权限

2021年08月

更新时间

特性

描述

类别

产品文档

2021年08月24日

产品计费策略:优化

同步任务和集成任务对应的数据处理单元由1:1修改为3:1,且前200个集成任务免费,进一步降低数据上云成本。

同时,手动任务、汇总逻辑表不再计算数据处理单元,您将以更低的成本进行逻辑研发。

更新说明

计费说明

系统将依据您选择的数据处理单元规格分配不同的默认调度资源,选购的规格越高,分配的调度资源越多,可以支持的任务并发数越大,计算处理速度也相应提升。

更新说明

2021年08月24日

数据源:可支持的数据源类型和版本拓展,优化数据源配置交互

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

更新说明

数据源

MySQL数据源版本拓展支持8.0,您可以根据业务数据库的版本添加对应版本的数据源。

新功能

创建MySQL数据源

新增支持Hologres数据源,您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。同时支持基于Hologres数据源新建实时元表。

新功能

创建Hologres数据源新建元表

数据源权限管控升级,增加对链接地址的查看权限控制,您可以更有效地提升数据源安全性。

更新说明

数据源权限列表

2021年08月24日

新增Dataphin在VPC网络下的通用IP地址

为了提升网络连通配置的效率,Dataphin新增在VPC网络环境下各地域通用的IP地址,您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。

新功能

网络连通解决方案

2021年08月24日

数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展

为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动打开加速开关,即可实现数据服务模块的数据查询加速。2021年8月19日。

新功能

创建项目创建Basic项目开发Dataphin数据源并加速数据查询

持的数据源类型和版本拓展。数据源类型增加了Impala、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0数据源。HBase数据源的版本拓展支持了2.x,您可以根据业务数据库的版本添加对应版本的数据源。

新功能

创建Impala数据源新建AnalyticDB for MySQL 3.0数据源Dataphin支持的数据源

2021年08月24日

数据集成:数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化

新增Hologres输入组件和输出组件。当输出组件为AnalyticDB for PostgreSQL,Dataphin支持一键建表的操作,以实现快速创建目标表。

同时,在数据源下拉列表中对于没有权限的数据源,您可以单击其后的申请权限,快速申请数据源的读写权限。

新功能

配置Hologres输入组件配置Hologres输出组件

2021年08月24日

运维中心:运维中心支持一键终止补数据实例下所有节点的补数据操作及页面交互优化

为了提升运维任务的效率,支持一键终止运行中的补数据实例下所有节点的补数据操作。

更新说明

通用补数据实例

支持按字段名称和字段英文名搜索对应的物化节点及自动定位到对应的物化节点。

更新说明

逻辑表实例

2021年08月24日

离线整库迁移

为了丰富元表的数据来源,支持基于Hologres数据源新建元表为了满足更丰富的场景,Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for PostgreSQL中。

更新说明

支持的数据源

2021年08月24日

数据安全

为了能够立即需要执行识别规则扫描数据,识别所有敏感字段,Dataphin支持手动触发识别规则扫描。

更新说明

创建、配置及手动触发识别规则

2021年08月24日

流批一体任务:新增属性配置及支持查看元表的引用信息

为了规避在任务参数处经常漏掉配置stat_date,Dataphin支持在实时任务配置的属性配置中新增stat_date的kv。

更新说明

开发流批一体任务

支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

更新说明

新建元表

2021年01月

功能名称

功能描述

发布时间

发布地域

相关文档

数据源

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

2021年01月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

数据源

新建元表

  • 支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

  • 新建元表支持选择Hologres数据源。

2021年01月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

新建元表

通用补数据实例

支持一键终止运行中的补数据实例下所有节点的补数据操作。

2021年1月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

通用补数据实例

2020年11月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-11-17

支持安装资产安全策略

功能拓展

新增安装资产安全策略,安装后即可使用数据安全策略。

通用功能

管理项目空间的权限和计算源

2020-11-17

数据源类型拓展

功能拓展

新增数据源Loghub、PolarDB、OSS、OceanBase、SAP HANA、DB2、TeraData。

通用功能

新建离线数据源

2020-11-17

数据集成支持自定义组件即组件扩展

功能拓展

  • 新增自定义组件功能,支持用户自定义系统不支持的组件。其中,RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。

  • 新增输入组件PolarDB、LogHub、OSS、SAP HANA、DB2、OceanBase、TeraData和本地CSV,新增脚本配置模式。

  • 新增输出组件PolarDB、OSS、SAP HANA、DB2、OceanBase和TeraData,新增脚本配置模式。

通用功能

2020-11-17

数据处理支持

功能拓展

  • 新增全局代码搜索功能,支持快速搜索Dataphin实例内所有的代码。

    说明

    历史提交过的代码不支持搜索。如果需要搜索历史代码,则需要重新提交代码任务。

  • 新增函数的历史版本回滚功能。

  • 新增资源的历史版本回滚功能。

  • 基于Flink计算引擎,新增开发流批一体任务,提高数据研发效率。

通用功能

数据开发概述

2020-11-17

运维中心升级

功能拓展

  • 新增运维大盘功能,为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势。

  • 新增运维列表及批量操作功能,提高运维管理效率。

  • 新增逻辑表运维功能,支持从字段视角对逻辑表节点进行运维管理。

  • 监控配置升级,支持批量监控配置、 支持配置逻辑表字段监控、支持自定义发送次数和发送频率。

通用功能

概述

2020-11-17

资产质量支持新建数据源和实时元表质量监控规则

功能拓展

  • 新增数据源的资产质量监控规则,包括数据源连通性监测和表结构异动监测。

  • 新增实时元表的资产质量监控规则,包括统计趋势监测、实时多链路对比和实时离线数据核对。

通用功能

2020-11-17

数据安全

功能拓展

新增数据安全增值功能包。数据安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。

通用功能

数据安全

2020-11-17

数据服务

功能拓展

  • 新增Dev-Prod和Basic模式,以满足用户对数据安全性的管控。

  • 新增基于逻辑表开发API。

通用功能

数据服务概述

2020年09月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-09-17

新建项目

功能拓展

  • 绑定离线计算源时,新增同步创建对应的数据源。

  • 系统通过项目粒度的方式,管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作,导致的数据泄露与安全问题。

通用功能

创建Basic项目

2020-09-17

编辑项目

功能拓展

Dev-Prod开发模式中,新增同时为Dev和Prod项目添加成员的功能。

通用功能

管理项目空间的权限和计算源

2020-09-17

离线计算任务

功能拓展

  • 新增任务克隆功能。

  • 新增版本回滚、版本对比功能。

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

通用功能

管理计算任务

2020-09-17

实时计算任务

功能拓展

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

通用功能

管理计算任务

2020-09-17

发布任务

功能拓展

  • 待发布对象列表新增移除对象功能。待发布对象列表新增移除对象功能。

  • 系统支持记住最近一次访问的列表(管道脚本、规范建模和数据处理)。

通用功能

管理发布任务

2020-09-17

业务板块

功能拓展

系统支持最多设置10位业务板块管理员。

通用功能

创建数据板块

2020年07月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-07-14

购买说明

功能拓展

新增基础研发版的计算引擎和功能说明。

通用功能

购买指引

2020-07-14

计费说明

功能拓展

新增基础研发版的计费说明。

通用功能

计费说明

2020-07-14

购买

功能拓展

新增购买基础研发版实例的说明。

通用功能

开通Dataphin

2020-07-14

实时自定义源

新增功能

新增实时自定义源功能。系统支持通过上传JAR文件的方式,自定义实时数据源。

通用功能

新建自定义源

2020-07-14

实时计算元表

功能拓展

  • 创建实时计算元表,您可以选择实时自定义源作为数据源。

  • 新增克隆实时计算元表。

通用功能

新建元表

2020-07-14

实时计算任务

功能拓展

新增创建Flink_DataStream类型的实时计算任务。

通用功能

创建Blink DataStream计算任务

2020-07-14

资源管理

功能拓展

新增查看资源的引用信息、保存资源的版本信息、回滚资源的版本和下载资源包。

通用功能

创建资源

2020-07-14

计算函数

功能拓展

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

通用功能

新建用户自定义函数

2020-07-14

实时计算模板

功能拓展

新增批量启用最新版本。

通用功能

新建代码模板

2020-07-14

实时计算任务

功能拓展

新增克隆实时计算任务。

通用功能

管理计算任务

2020-07-14

实时计算模板

功能拓展

新增克隆实时计算模板。

通用功能

新建代码模板

2020-07-14

发布任务

功能拓展

新增发布预检功能。

通用功能

管理发布任务

2020-07-14

计算设置

功能拓展

新增基础研发版添加计算引擎的说明。

通用功能

设置Dataphin实例的计算引擎

2020-07-14

新建项目

功能拓展

新增基于基础研发版创建项目的说明。

通用功能

创建Basic项目

2020年05月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-05-09

购买说明

功能拓展

为您介绍本版本新增的内容:

  • 数据处理单元规格拓展,规格包括500、1000、1500、2000、2500和3000。

  • Dataphin实例售卖时长拓展,购买时长包括1个月、3个月、6个月、9个月和1年。

通用功能

购买指引

2020-05-09

计费说明

功能拓展

为您介绍本版本新增的内容:

  • 数据处理单元拓展规格的定价。

  • 数据服务拓展规格的定价。

通用功能

计费说明

2020-05-09

购买

功能拓展

为您介绍购买Dataphin实例时,可以选择数据处理单元、增值功能包(数据服务)和购买时长的拓展规格。

通用功能

开通Dataphin

2020-05-09

续费

功能拓展

新增自动续费功能,帮助您快速地续费Dataphin实例。

通用功能

续费

2020-05-09

查看资源用量

功能拓展

新增系统资源用量统计功能,帮助您查看Dataphin系统中的资源用量情况。

通用功能

查看资源使用情况

2020-05-09

查看行为数据

新增功能

行为数据抽样预览功能更新。

通用功能

查看行为数据

2020年04月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-04-09

数据源

功能拓展

支持创建离线数据源和实时数据源,通过数据源将业务数据引入Dataphin平台。

通用功能

数据源

2020-04-09

计算设置

功能拓展

支持离线计算引擎和实时计算引擎的配置。

通用功能

设置Dataphin实例的计算引擎

2020-04-09

计算源

功能拓展

计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。

通用功能

计算源

2020-04-09

业务板块

功能拓展

创建业务板块时,支持设定板块管理员,帮助您更好地管理业务板块。

通用功能

业务板块

2020-04-09

发布管理

新增功能

新增数据集成、实时计算任务的发布管理。

通用功能

管理发布任务

2020-04-09

运维调度

功能拓展

为您介绍全局运维中新增实时任务和实时实例功能。

通用功能

概述

2020-04-09

数据处理

功能拓展

新增实时数据处理,帮助您处理实时计算任务。

通用功能

实时数据处理

2020-04-09

实时元表

新增功能

为您介绍如何查看实时元表的详情。

通用功能

元表详情

2020-04-09

函数权限

新增功能

为您介绍如何进行函数权限的申请、查询及交还,帮助您更好地管理函数权限。

通用功能

管理函数权限

2020-04-09

告警中心

新增功能

为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表,帮助您及时查看并处理告警。

通用功能

告警中心

2020-04-09

数据集成

新增功能

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。

通用功能

数据集成

2020-04-09

资产质量

新增功能

资产质量是基于Dataphin构建的监控资产质量的平台,帮助您监控和优化数据开发过程中的资产质量。

通用功能

资产质量

2020-04-09

数据服务

功能拓展

数据服务支持通过界面配置的方式构建API和Dataphin数据源,以满足不同数据的使用场景,同时降低数据的开发门槛,帮助企业实现数据应用价值最大化。

通用功能

数据服务概述

2020-04-09

监控报警

功能拓展

新增实时报警记录和实时监控配置,方便您及时了解任务运行的状况。

通用功能

配置离线监控报警规则

2020年02月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2020-02-20

视频专区

体验优化

为您演示Dataphin的开发流程。

通用功能

Dataphin快速入门

2020-02-20

视频专区

体验优化

为您演示数据服务的入门指导。

通用功能

Dataphin数据服务入门指导

2019年12月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2019-12-25

购买说明

功能拓展

购买说明为您介绍不同的用户(全域标准用户、全域基础用户、普通用户)购买Dataphin实例时的限制。

通用功能

购买指引

2019-12-25

购买

功能拓展

  • 为您介绍如何购买新增地域华北2(北京)的Dataphin实例。

  • 为您介绍不同的用户(全域标准用户、全域基础用户、普通用户)如何购买Dataphin实例。

通用功能

开通Dataphin

2019-12-25

升级

功能拓展

  • 为您介绍全域基础用户如何通过升级实现基础研发版升级为智能研发版及如何开通增值功能包。

  • 为您介绍全域标准用户如何通过升级的方式开通增值功能包。

  • 为您介绍普通用户如何通过升级的方式开通增值功能包及如何将低规格数据处理单元升级为高规格数据处理单元。

通用功能

升级

2019-12-25

计费说明

功能拓展

为您介绍不同用户(全域标准用户、全域基础用户、普通用户)购买不同规格的Dataphin实例的计费标准。

通用功能

计费说明

2019-12-25

版本历史

功能拓展

为您及时同步Dataphin的版本发布信息。

通用功能

功能更新记录

2019年11月更新记录

时间

特性名称

类别

描述

使用范围

产品文档

2019-11-29

管理控制台

功能拓展

为您详细介绍管理控制台界面,本版本较上个版本新增如下:

  • 新增产品规格模块,为您展示产品当前支持的数据处理单元规格。

  • 新增华南1(深圳)地域(Region)的Dataphin实例售卖。

  • 新增查看Dataphin实例的详情。如果您有多个未过期的Dataphin实例(即在服务期内,或已欠费但仍处于14天过渡期内),可以通过切换Region的方式,查看对应Region购买的实例详情。

  • 新增增值功能查看入口。您可以基于智能研发版基础功能自行选择增值功能包叠加查看产品整体功能。

通用功能

管理控制台介绍

2019-11-29

升级

功能拓展

新增支持将低规格数据处理单元升级为高规格数据处理单元。公测期间数据处理单元支持2档:500和1500。

通用功能

升级

2019-11-29

购买

功能拓展

  • 为您介绍如何购买新增中国站-华南1Region的Dataphin实例。

  • 为您介绍新增数据处理单元以及在购买过程中如何选取数据处理单元规格。

通用功能

开通Dataphin

2019-11-29

计费说明

功能变更

为您介绍数据处理单元计算逻辑变更。

通用功能

计费说明

2019-11-14

服务

新增功能

数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。

已开通数据服务增值包的用户

服务

2019-11-14

萃取

新增功能

面向各行各业数据价值深度挖掘的诉求,萃取为您提供以目标对象为中心的数据打通和深度挖掘,助力您实现业务的融会贯通并驱动创新。

已开通数据萃取增值包的用户

萃取

2019-11-14

治理

新增功能

Dataphin治理支持您进行数据使用消耗分析,从全局视角,把控计算与存储成本,提升资源使用效率。

已开通资产治理增值包的用户

治理

2019-11-14

智能引擎

新增功能

您可以通过配置计算和存储参数规则,以优化逻辑表任务、SQL查询任务的生成及运行方式,提高数据构建效率。

通用功能

智能引擎

2019-11-14

元数据

新增功能

支持您手动刷新元数据,将非Dataphin元数据更新到Dataphin系统中。

通用功能

刷新元数据

2019-11-14

成员管理

新增功能

为您提供更丰富的成员联系方式,包括手机、邮箱地址和钉钉群机器人。

通用功能

添加、配置及管理Dataphin成员

2019-11-14

续费

功能变更

如果您购买的实例已过期或即将过期,您可以通过续费管理对实例进行续费操作。

通用功能

续费

2019-11-14

配置同步任务

功能变更

当您配置同步任务时,同步来源和同步目标的数据源仅支持选择物理数据源。

通用功能

配置同步任务

2019-11-14

项目管理

功能变更

新建项目时,为您提供两种可选研发模式:Basic模式(单一生产环境模式)和Dev-Prod 模式(生产、开发环境隔离模式)。

通用功能

项目管理

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈