功能更新记录

本文将为您及时同步Dataphin的版本发布信息。

2023年04月

杭州:2023年04月25日发布。

深圳:2023年04月27日发布。

北京:2023年05月09日发布。

上海:2023年05月13日发布。

功能名称

功能描述

相关文档

引擎适配

新增支持Hologres计算引擎。当计算引擎选择MaxCompute时,项目可以绑定Hologres或者MaxCompute计算源其中一种。

成员管理

  • 支持自定义项目角色,并支持批量角色替换。

  • 支持一键转交某个用户负责的对象(如数据源)和权限给其他用户,并可查看转交记录。

数据源

  • 离线集成新增支持OpenGauss数据源、SAP Table数据源、StarRocks数据源、Hudi数据源、Doris数据源、Greenplum数据源。

  • 实时研发新增支持StarRocks数据源。

  • 数据源功能优化:

    • Kafka数据源在Kerberos认证时支持上传jaas文件;并支持Confluent Kafka的Schema Registry功能。

    • MySQL数据源支持SSL加密。

    • API数据源认证方式新增API Key以及Token认证方式。

    • MongoDB支持多版本(3.2、3.4及以上)。

计算源

支持MaxCompute、Flink计算源的批量创建。

计算设置

当计算引擎设置为MaxCompute时,支持切换计算设置中的endpoint。

设置Dataphin实例的计算引擎为MaxCompute

公共定义

新增公共日历功能,支持自定义多套日历,可指定日期为休假或工作日,并支持日期标签管理。

项目管理

Flink SQL任务支持使用全局变量。

创建项目

规范建模

  • 规范建模提交流程优化,缩短提交耗时。

  • 事件事实逻辑表支持设置延迟数据处理,自动重跑设置该周期的事实逻辑表实例。

  • 事件事实逻辑表支持单实例补多周期数据,可补当前节点的最多30天的分区。

  • 支持删除本板块逻辑表的分区。

  • 原子指标增加度量单位:手,张,笔,次,包,个,吨,公斤。

  • 计算逻辑配置优化,包括计算逻辑校验优化、预览计算逻辑优化等。

  • 进入调度和参数配置页面时, 自动触发依赖解析,并进行非空校验。

离线集成

  • 新增输入输出组件,包括GreenPlum输入组件与输出组件、Kudu输入组件、Elasticsearch输入组件、API输出组件。

  • 组件功能优化,包括新增GET_JSON_OBJECT函数,可解析JSON格式的字符串,并返回path指定的内容、新增COALESCE函数,可返回第一个非空值。

  • 数据源扩展,新增OpenGauss数据源、StarRocks数据源读写和SAP Table输入组件,可通过SAP rfc的方式读取SAP数据。

  • 集成组件优化:

    • Oracle输出组件支持设置登录超时时间及查询超时时间。

    • FTP输入组件新增支持xls、xlsx格式。

    • FTP输出组件新增导出压缩文件选项,可支持不压缩,或zip、gzip格式导出;加载策略新增支持文件名冲突报错策略,文件名冲突时任务运行报错。

    • Hologres输入输出组件的表选项不支持视图。

    • 当Kafka为Confluent Kafka时,可支持使用schema registry,输入输出组件的键和值的类型新增Kafka Avro。

    • API输入组件新增URL路径配置项。

    • MaxCompute输入输出组件支持读取Date类型,写入支持Date、Tinyint、Smallint、Float类型。

    • OSS输入输出组件支持设置行分隔符。

  • 整库迁移任务支持配置上游依赖。

离线研发

  • 新建及修改MaxCompute自定义函数时,支持选择后缀为jar及py的资源。

  • 新增表管理功能,包括物理表的创建、删除、修改、导入数据、查看;支持查看物理表字段信息、支持在列表中编辑字段、导入字段。

  • 支持MaxCompute引擎的全部开窗函数以及所有开窗语法。

  • SQL任务中表DDL语句支持用变量的方式定义表名称。

新建用户自定义函数

实时研发

  • Flink SQL任务支持缓存最近一次调试测试数据。

  • Flink VVP引擎新增支持StarRocks数据源,支持作为来源表、目标表。

  • Flink VVP引擎对于停止的任务,重启时支持选择从上个状态开始运行。

  • 元表体验优化,如Flink DDL导出支持一键复制代码、元表字段SQL导入根据元表的数据源类型给出不同的参考示例等。

  • 实时代码模板支持一套代码多种配置多次运行。

  • Flink SQL支持Flink原生DDL语句,支持配置是否允许使用Flink原生DDL语句。

  • Flink VVP引擎支持在任务中配置开发环境的计算源的版本和队列。

调度配置

  • 当任务的调度类型为正常调度时,支持开启条件调度配置,开启后周期实例和补数据实例都将按照配置的规则执行调度,以支持同一个任务在不同条件组合下采取不同的调度方式:

    • 可根据业务日期在日历中的属性、输入参数组合为条件设置调度属性。

    • 可支持多组调度条件设置。

    • 开启条件调度后,周期实例和补数据实例都将使用条件调度的规则进行调度。

  • 新增任务级别运行超时时长、失败自动重跑次数和重跑间隔的设置;单个任务可选遵循租户级别设置或自定义设置。

调度配置

基础运维

  • 补数据:

    • 新增按周期补数据,可指定每周或每月固定日期进行补数据,也支持选择月末,根据不同月份自动推算具体日期。

    • 新增支持配置补数据实例运行顺序,可按照业务日期正序或倒序进行补数。

    • 周期任务列表及周期实例列表的筛选项优化。

    • 选中的任务节点存在跨周期依赖时,补数据并发组数不可大于1,以保证数据依赖的正确性。

    • 新增支持导出或查看已选节点列表。

    • 新增支持快捷排除暂停节点及其下游。

    • 新增补数据节点选择方式,包括当前节点的全部下游、指定一级子节点及其全部下游、起点到指定终点的链路上的所有节点。

  • 其他:

    • 运行日志页面增加自动重跑标识以区分手动重跑。

    • 未运行状态的实例新增支持手动直接置为成功操作。

资产全景及目录

  • 数据表产出任务包含范围拓展(以当前表为输出表的集成任务、以当前表为输出表的自定义血缘任务和系统解析的血缘任务),并优化产出信息展示,可查看单个任务的平均开始/结束运行时间、平均运行时长、实例列表等。

  • 针对配置了质量监控规则的数据表,支持快捷查看质量报告,针对未配置质量监控规则的数据表,支持快速创建质量规则入口。

  • 血缘展示范围拓展基于集成任务从业务库同步到计算源、从计算源回流到业务库的全域数据表血缘。

资产权限

  • 申请表权限时,展示字段的安全分类及等级。

  • 新增用户组权限管理。

  • 取消系统管理员默认获取的全局的数据权限,系统管理员需要权限时可以将自己加入项目后给自己授权。

数据标准

  • 公共标准集属性拆分系统属性及自定义属性;新建标准集属性,可引用系统内置的公共属性及自定义公共属性。

  • 系统内置数据类型系统属性,可结合资产对象的元数据信息进行落标监控。

  • 新增范围值类型的属性用于定义值域等约束信息,支持输入枚举值、引用码表、定义区间值的定义方式。

  • 支持从标准视角和资产对象视角来查看全局落标明细。

  • 支持在创建数据标准时快速创建相关的质量监控规则,针对该标准映射成功的资产对象,可以在数据质量页面快速引用添加对应标准配置的质量规则,实现资产的内容质量监控。

  • 新增标准整体功能及使用流程引导图。

  • 支持在标准集列表快速创建对应的数据标准、批量导出数据标准、快速创建映射规则。

资产质量

  • 新增支持批量配置质量规则。

  • 支持数据源表结构异动的校验记录查看,可查看异动的对比详情。

  • 新增跨源两表字段统计值一致性的质量规则模板,用于跨数据源的数据对比。

  • 有效性/字段格式校验的规则模板增加like表达式,开头是、结尾是匹配方式;增加手机号、固定电话、身份证号、邮箱、银行卡号等内置表达式。

  • 质量分区表达式增加内置的小时分区ds='${yyyyMMdd HH}' 。

  • 支持配置是否按照分区表达式触发质量校验。

  • 支持直接引用当前表包含的字段映射到的数据标准已配置质量监控规则,实现对数据标准的主动关联稽核。

  • 调度方式为定时调度时,支持配置调度条件,以支持仅在固定日期下触发质量规则调度。

资产安全

  • 支持查看识别结果的详情信息,包括生效及命中的规则以及仲裁结果。

  • 支持指定项目用于扫描任务执行,以节省计算资源。

  • 支持数据采样缓存用户安全识别,可降低资源消耗,使识别结果更稳定,提升识别的执行记录及准确性。

  • 支持用户主动添加识别记录,包括单字段添加、批量添加,及Excel的批量上传。

  • 支持手动锁定识别记录,锁定后识别结果保持不变。

  • 识别规则配置优化:识别范围、识别方式支持且、或的最多2层的组合;识别支持阈值设定。

  • 资产安全内置多种常用的识别规则,如:身份证号、地址、中文姓名等。

  • Hologres引擎支持使用数据库原生函数进行脱敏,无需安装算法包即可实现数据的脱敏保护。

  • 新增默认脱敏策略功能,支持根据数据分级配置默认脱敏策略,以保障未被识别规则覆盖的敏感数据能被脱敏。

数据服务

  • 应用、服务单元、API、Dataphin数据源权限的授权以及应用创建、服务单元和应用负责人转交无需发起审批流程。

  • 支持通过Mybatis标签的SQL语法来编写查询逻辑。标签类型包括:if、choose、when、otherwise、trim、foreach和where。

  • 数据服务支持页面水印。

  • Dataphin数据源选择范围,新增Hologres数据源。

  • 新增API支持回退到第一步切换新增方式。

  • API向导模式交互优化,提升用户体验感。

告警中心

  • 新增内置消息模板选择。

  • 支持配置收件人变量以动态修改收件人。

消息模板

任务中心

数据表权限审批任务详情增加申请的数据表所属空间信息(项目及业务板块)。

查看并处理任务

2023年01月

北京、杭州:2023年01月12日发布。

上海、深圳:2023年01月18日发布。

功能名称

功能描述

相关文档

新手引导

跟随新手引导,您可以快速上手了解Dataphin的功能,体验数据模型建设的基本流程。

Dataphin新手引导

内置模型

Dataphin内置零售行业数据模型,可快速导入体验模型建设功能。注意,仅升级后开通Dataphin服务的新客户可使用内置模型。

导入模型

浏览器适配

新增支持奇安信浏览器。

使用限制

数据源

  • 新增支持南大通用Gbase 8a数据源、TiDB数据源、人大金仓KingBase数据源、GoldenDB数据源。

  • Kafka数据源支持连通性校验。

规范建模

创建编辑逻辑表流程向导化,提升操作体验。

离线集成

  • 新增五种数据源输入输出组件,包含南大通用Gbase 8a、TiDB、人大金仓KingBase、GoldenDB、IMPALA。

  • API组件支持输出中文字段。

  • Teradata输入输出组件不支持选择视图。

  • 新增函数支持将二进制类型转换成十六进制字符串。

  • 离线集成任务新增自动解析依赖功能:

    • 支持自动解析添加上游物理节点或逻辑表节点。

    • 支持自动解析添加任务输出名称。

    • 支持一键添加根节点为上游依赖节点。

离线研发

  • MaxCompute引擎的Spark任务支持访问逻辑表,并增加权限校验。

  • 支持非SQL任务自定义配置血缘关系,包括输入输出表及输入输出字段,并在血缘页面展示。

  • 新增运行记录功能,提供查看代码、查看执行日志、停止运行、下载结果等功能。

实时研发

  • 元表创建及使用优化。

  • Flink SQL任务支持SQL Hints。

  • 阿里云实时计算Flink引擎下流批一体任务支持绑定不同计算源。

发布

支持在项目设置中开启发布审批,支持自定义审批人。

基础运维

支持配置租户级任务超时时间、 自动重试次数和重跑间隔。

运行配置

资产目录

数据表血缘关系新增自定义血缘的展示,支持查看血缘关系对应的产出任务类型。

资产权限

支持按照表级进行权限的申请、授权与鉴权;提升权限申请和授权效率。

申请、续期和交还表权限

数据标准

  • 数据标准集创建及使用体验优化,标准集属性支持配置默认值、配置可见范围和配置审批模板。

  • 支持查看全量标准,可跨标准集检索。

  • 支持查看落标规则执行记录列表以及单个任务执行的落标结果明细。

  • 新增公共标准集属性。

  • 新增支持自定义标准审批流程模板。

资产质量

  • 新增数据源连通性和表结构异动检测支持的数据源。

  • 全域资产质量新增支持的数据源包括:IBM DB2、AnalyticDB for PostgreSQL、Hologres、ClickHouse、DM(达梦)、HANA。

资产安全

  • 识别规则支持手动执行和更新。

  • 增加安全识别任务的展示,可以查看历史识别任务结果和字段识别详情。

数据服务

调用示例:支持python语言的调用案例和操作说明。

调用Dataphin数据源

2022年11月

功能名称

功能描述

发布时间

发布地域

相关文档

Dataphin免费试用申请

支持在线申请Dataphin免费试用,可试用30天。包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。

2022年11月22日

华北2(北京)

Dataphin免费试用申请

华东1(杭州)

华南1(深圳)

华东2(上海)

2022年10月

功能名称

功能描述

发布时间

发布地域

相关文档

资源用量详情

  • 新增支持查看当前可用数据处理单元规格上线。

  • 新增数据标准、智能运维的用量统计

2022年10月25日

华北2(北京)

查看资源使用情况

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据源

  • 新增达梦数据源。

  • 新增数据源删除依赖校验。

  • Kafka数据源支持流数据服务Confluent 商业版本的用户名密码认证,并在用户名密码认证模式下支持SSL。

2022年10月25日

华北2(北京)

创建达梦(DM)数据源创建Kafka数据源

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据架构

主题域升级,支持最多创建5级主题域及支持以树形结构和图形看板样式展示主题域层级关系。

2022年10月25日

华北2(北京)

数仓规划概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

概念建模

  • 支持业务可视化。

  • 新增业务对象之间、业务对象和业务活动之间、业务活动之间的关系类型配置。

  • 新增支持创建枚举业务对象及虚拟业务对象,并在创建相关逻辑表时可关联该类型的对象。

  • 逻辑表整体功能优化,如提交详情优化、派生指标支持使用最大分区、逻辑表创建优化等功能。

2022年10月25日

华北2(北京)

规范建模概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

研发通用功能

  • 研发菜单树和编辑器优化,提升用户体验。

  • 编辑器体验、版本对比、调度参数等功能优化。

  • 支持在代码任务中对全局变量进行调用。

  • 对于敏感变量,支持权限申请和代码上线审批流程。

2022年10月25日

华北2(北京)

数据开发概述调度配置

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

离线研发

  • 新增支持load overwrite语法。

  • 代码任务支持的资源文件引用方式优化。

  • 即席查询性能优化,降低等待调度资源的时间。

2022年10月25日

华北2(北京)

管理计算任务新建SQL任务查询并下载数据

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

实时研发

开源Flink引擎下支持自定义实时连接器、Flink 1.14引擎版本下支持MySQL、PostgreSQL的CDC connector。

2022年10月25日

华北2(北京)

创建Flink SQL任务新建元表新建镜像表

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

运维中心

  • 新增支持快速过滤暂停调度任务极其下游节点。

  • 支持对选中的暂停调度任务设置空跑、正常运行、暂停运行的运行方式。

  • 开源Flink引擎下,支持在Dataphin平台查看任务运行分析。

  • 新增基线运维功能,支持基线监控、基线告警、基线实例、高优任务保障。

  • 支持离线周期和补数据实例运行异常原因诊断。重跑、强制重跑、补数据、Sql任务资源分配逻辑优化。

  • 支持配置多种业务规则实现限流功能。

2022年10月25日

华北2(北京)

概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

新增智能运维增值模块,包括调度限流和基线运维。

2022年10月25日

华北2(北京)

基线监控配置调度配置计费说明

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据标准

  • 支持标准集的属性配置、数据标准的批量导入、下载及上线管理、码表和词根的配置管理。

  • 新增落标映射规则管理配置。

  • 支持数据标准的标准集创建及发布、审批、下线等全线生命周期管理。

2022年10月25日

华北2(北京)

数据标准概述新建和管理落标映射规则新建和管理标准集新建和管理数据标准新建和管理标准代码(码表)新建和管理词根

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

资产安全

  • 支持底层脱敏和仅展示脱敏配置。

  • 识别规则支持字段名黑名单,增加识别规则、脱敏规则、白名单操作说明。

  • 安全算法支持自动更新和批量操作。

  • 支持安全模块的安全策略算法包的自动安装和查看安装日志。

  • 脱敏算法新增加解密算法以及支持加解密算法消费。

  • 密钥管理支持加解密密钥。

  • 生产安全模式强化,生产数据保护扩展到Basic项目。

2022年10月25日

华北2(北京)

管理动态脱敏规则项目安全策略资产安全概述脱敏算法管理密钥

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据质量

  • 支持多种数据源表的质量监控,支持数据源连通性及表结构异动性监控。

  • 内置丰富的质量规则模板。

  • 资产报告升级,可从资源粒度查看分析质量概况,并支持下载异常数据进行归档。

  • 质量负责人权限升级,新增支持新建、编辑、删除质量规则、并执行规则试跑权限。

  • 支持Oracle、PostgreSQL、SQL Server、SAP HANA不同数据类型及添加质量规则功能优化。

  • 新增全域质量模块、实时质量支持Apache HBase。

2022年10月25日

华北2(北京)

资产质量概述创建数据表质量规则

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

计算引擎

支持Dataphin可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理。

2022年10月25日

华北2(北京)

设置Dataphin实例的计算引擎

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据集成:输入组件、数据源优化,提升体验感,数据源表存在性、表结构变动功能点优化,整库迁移的任务生成优化

  • API输入组件支持数据源读取。

  • csv输入组件可上传的文件大小从50M拓展到500M。

  • 数据集成支持kafka、DataHub数据源。

  • 输入输出组件支持复制表名。

  • 一键建表到项目引擎源时,元数据自动同步到资产。

  • SAP HANA支持跨schema 读取。

  • MongoDB数据库支持中文字段名、兼容存储浮点数的字段存在NaN无效值情况。

  • FTP输入组件支持空文件的处理规则及内容起始行的配置。

  • 支持脚本模式进行集成任务配置,支持OTS数据源。

  • 新增的clickhouse、kafka、datahub、kudu、达梦等组件模板,并适配不同引擎的项目计算源模板。

  • 支持ElasticSearch数据源脚本模式读写。

2022年10月25日

华北2(北京)

配置API输入组件创建Kafka数据源创建DataHub数据源创建SAP HANA数据源创建MongoDB数据源配置MaxCompute输入组件配置MaxCompute输出组件管理FTP组件管理脚本模式输入组件

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

资产权限

新增权限审计模块,可以对自己的权限进行审计。

2022年10月25日

华北2(北京)

权限操作审计

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数据服务

  • API服务性能优化,增加网络配置说明。

  • API搜索框支持通过API名称或API_ID进行搜索。

  • 支持前端水印。

  • 支持Hologres数据源。

  • 支持在Select区域用参数参与计算。

2022年10月25日

华北2(北京)

配置网络数据服务概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

首页

  • 增加全局导航、菜单树、tab页及全局视觉优化。

  • 支持内置帮助文档的提示。

2022年10月25日

华北2(北京)

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

数仓规划

新增创建业务对象和业务活动权限。

2022年10月25日

华北2(北京)

概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

离线计算任务

  • 预编译性能优化。

  • 增加时间参数的说明。

2022年10月25日

华北2(北京)

数据开发概述

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

逻辑表DML支持部分字段insert和动态分区。

2022年10月25日

华北2(北京)

创建并配置普通维度逻辑表创建并配置层级维度逻辑表创建虚拟维度逻辑表

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

  • SQL任务支持cost、reload function、except all函数、set yarn.timeline-service.enabled=true语法。

  • SQL任务支持 clone table。

2022年10月25日

华北2(北京)

DML操作

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

项目配置

项目访客权限优化,并新增数据访问者、普通访客角色。

2022年10月25日

华北2(北京)

管理项目空间的权限和计算源

2022年10月27日

华东1(杭州)

2022年11月01日

华南1(深圳)

2022年11月03日

华东2(上海)

2022年07月

功能名称

功能描述

发布时间

发布地域

相关文档

产品计费

售卖版本新增基础研发版和敏捷研发版。

2022年07月19日

华北2(北京)

购买指引

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

数据架构(原业务板块)

  • 业务板块升级为数据板块,数据域升级为主题域。

  • 维度、业务过程移至数据架构板块,统一为概念设计。维度更名为业务对象;业务过程更名为业务活动,并增加三种子类型:事件、业务流程和业务快照。

  • 公共定义增加小时与分钟的统计周期定义。

2022年7月19日

华北2(北京)

数仓规划概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

成员管理

  • 支持在成员管理模块设置用户的系统角色,包括系统管理员、数据源管理员、安全管理员和资产质量负责人。

  • 新增停用用户的能力,例如休假、停职等特殊时间,暂停用户访问并可恢复启用用户。

2022年7月19日

华北2(北京)

添加、配置及管理Dataphin成员

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

数据集成

  • 支持项目中的物理表作为管道任务中的来源表或目标表。

  • 管道任务支持克隆。

2022年07月19日

华北2(北京)

配置离线单条管道

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

规范建模

  • 新增逻辑表版本管理功能,可以查看逻辑表修改记录以及进行版本对比。

  • 新增逻辑表冒烟测试,可以在开发时验证逻辑表是否可以成功运行。

  • 新增衍生指标,可以基于已有的派生指标,通过二次运算快速创建新的指标。

  • 逻辑表新增支持小时及分钟级数据时效的配置。

  • 汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制,允许上挂所有的有读权限的物理表字段。

2022年07月19日

华北2(北京)

规范建模概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

离线研发

增加回收站功能,可以将删除的数据处理任务还原。

2022年07月19日

华北2(北京)

管理回收站的资源对象

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

实时研发

实时研发新增支持Ververcia Flink引擎

  • 支持数据源:MaxCompute、PolarDB-X、AnalyticDB for MySQL 3.0、Log Service、Aliyun HBase、DataHub、Kafka、Tablestore、RocketMQ、Elastic Search、Redis。

  • 支持Flink SQL流批任务。

  • 支持元表、镜像表。

  • 支持预编译、调试、测试、运维。

  • 支持粗粒度资源配置。

2022年07月19日

华北2(北京)

创建Flink SQL任务新建元表新建镜像表

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

发布中心

  • 新增发布管控校验环节,每个对象对于命中的变更策略中定义的规则进行校验,校验不通过则阻断发布或给出警告提示。

  • 针对发布失败的任务,新增支持查看发布日志、支持一键重新发布。

  • 新增支持查看版本提交记录。

2022年07月19日

华北2(北京)

发布中心概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

运维中心

  • 新增支持小时、分钟级调度的逻辑表进行补数据、重跑等运维操作。

  • 新增支持单个指标补数据,不受逻辑表一致性连带影响,可根据业务需求自由灵活地进行补数据。

2022年07月19日

华北2(北京)

概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

资产目录

  • 资产目录体验升级。

  • 新增资产对象(指标)。

  • 资产详情页交互优化,新增该资产的查看权限列表和使用说明两个功能。

2022年07月19日

华北2(北京)

资产目录

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

资产权限

  • 权限即将到期、到期、赋权、回收时发送站内信及邮件通知。

  • 支持查看所属账号的表权限申请记录,管理员可查看表权限操作记录。

  • 新增批量授权、批量回收表权限。

  • 支持物理视图和逻辑视图的权限申请。

  • 实时元表权限支持批量授权,支持实时计算的元表、镜像表的批量授权。

2022年07月19日

华北2(北京)

数据资产权限列表

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

资产安全

  • 安全模块权限体系优化

    • 安全管理员,可以访问资产中的安全模块,对安全模块有管理权,可以做安全规则的新增、编辑等操作。

    • 其他普通用户拥有安全模块的查看权限,可以看到敏感规则、敏感字段的识别记录,但不可以操作。

  • 新增项目安全策略,用于对项目安全策略进行统一管理与审计;同时支持资产安全策略的自动安装,并可以查看算法安装日志,精确掌握安装状态。

  • 自定义掩码算法优化,新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。

  • 支持识别规则转交,支持识别规则转交给其他安全管理员。

2022年07月19日

华北2(北京)

资产安全概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

资源治理

逻辑表治理任务,新增跳转运维和跳转开发功能,可以快速进行任务的确认和治理。

2022年07月19日

华北2(北京)

治理概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

管理中心

  • 新增发布管控功能,可基于任务名称、任务所属项目、发布人、发布时间等元数据,通过可视化表单配置或自定义SQL的方式,定义变更校验规则。

  • 支持定义变更管控策略,基于定义好的变更校验规则,配置校验时间区间和校验范围,针对校验不通过的发布申请,可设置为阻断发布或警告提示,以实现特定场景下的发布管控,降低风险。

2022年07月19日

华北2(北京)

管理中心概述

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

通知中心

任务中心与消息中心体验提升。

2022年07月19日

华北2(北京)

2022年07月21日

华东1(杭州)

2022年07月26日

华南1(深圳)

2022年08月02日

华东2(上海)

2022年05月

功能名称

功能描述

发布时间

发布地域

相关文档

数据源:可支持的数据源类型及版本拓展,及优化数据源配置参数

添加MySQL数据源版本拓展支持5.1.43,您可以根据业务数据库的版本添加支持对应版本的数据源。

2022年05月26日

华东1(杭州)

创建MySQL数据源

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增支持ClickHouse数据源,您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

HBase数据源支持配置Namespace。

2022年05月26日

华东1(杭州)

创建HBase数据源

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

数据集成:输入组件、输出组件的能力升级

逻辑表输入组件支持选择标签逻辑表。

2022年05月26日

华东1(杭州)

配置LogicalTable输入组件

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

FTP输出组件新增输出文件是否合并及列头是否导出配置,同时FTP组件支持配置标记完成文件,以支持更灵活的文件导出场景。

2022年05月26日

华东1(杭州)

配置FTP输出组件

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

MaxCompute输出组件,适配来源字段存在空值且目标字段类型为TINYINT、SMALLINT、INT的场景,以降低清洗成本,增加配置灵活性。

2022年05月26日

华东1(杭州)

配置MaxCompute输出组件

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

一键建表功能优化自动生成的建表语句,自动将输入表名填充为输出表名,新增输入字段注释信息的展示作为参考,降低配置成本。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

数据开发:新增EXPLAIN SQL增强操作和MAX_PT函数,同时支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率

新增EXPLAIN SQL增强操作,用于分析查询语句或表结构来分析性能瓶颈。

2022年05月26日

华东1(杭州)

SQL增强操作

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

MAX_PT函数支持直接使用Dataphin项目名称。

2022年05月26日

华东1(杭州)

函数操作

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增支持ROW FORMAT SERDE、TBLPROPERTIES语法。

2022年05月26日

华东1(杭州)

DDL语句

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

MSCK REPAIR TABLE、DELETE WHERE语法。

2022年05月26日

华东1(杭州)

DML操作

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增支持SHOW FUNCTIONS, LISTFUNCTIONS语法。

2022年05月26日

华东1(杭州)

函数操作

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增支持DESC EXTENDED语法。

2022年05月26日

华东1(杭州)

DDL语句

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

即席查询:支持运行超过24小时的任务自动终止运行

支持运行超过24小时的任务自动终止,防止运行时间过长占用过多计算资源。

2022年05月26日

华东1(杭州)

查询并下载数据

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

规范建模:事实逻辑表关联维度的能力升级

事实逻辑表支持单个字段关联多个维度逻辑表。

2022年05月26日

华东1(杭州)

创建并配置事实逻辑表

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

数据萃取:引导页、ID中心、平台管理、标签中心能力升级

引导页全面升级,新增平台管理、ID中心;新增规则统计类标签、注册上挂标签、标签中心升级为偏好标签。

2022年05月26日

华东1(杭州)

概述

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

运维中心:丰富了逻辑表实例支持的运维操作;新增海量补数据功能以适配大批量节点的补数据场景;小时和分钟任务支持分钟级补数据

逻辑实例新增强制重跑、去除上游依赖、置为成功继续调度功能,以支持临时运维操作,提升灵活性。

2022年05月26日

华东1(杭州)

逻辑表实例支持的运维操作

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

逻辑表实例列表、补数据实例列表批量操作体验优化,包括去除页面选择的限制,由后台根据字段运行状态判断是否可操作;拓展支持重跑所有失败字段、重跑所有终态字段、强制重跑所有字段;针对模型刷新导致不可重跑的逻辑表,可一键批量补数据已实现历史分区数据更新,大大降低逻辑表实例运维操作成本。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增海量补数据功能以适配大批量节点补数据场景,提升运维效率。

2022年05月26日

华东1(杭州)

补数据

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例,降低批量操作成本。

2022年05月26日

华东1(杭州)

补数据实例

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

小时、分钟周期任务新增支持分钟级补数据。

2022年05月26日

华东1(杭州)

补数据

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

重跑下游操作,下游节点列表支持展示全部层级(不超过2000个节点),优化运维体验。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

新增支持强制重跑下游,以实现全链路数据更新,解决重跑下游操作中因运行状态不满足而造成的造成链路断裂或数据版本不一致的场景。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

针对配置了运行失败监控的实例,告警策略由每次运行失败均告警修改为仅最后一次自动重试运行仍失败才告警,减少无效告警信息的干扰。

2022年05月26日

华东1(杭州)

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

资产安全:识别规则任务支持自定义调度配置及运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性

识别规则任务支持通过自定义调度配置以修改扫描频率;支持配置识别任务运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性。

2022年05月26日

华东1(杭州)

创建、配置及手动触发识别规则

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

资产治理:元数据注册功能升级

元数据注册功能升级为治理项管理

2022年05月26日

华东1(杭州)

管理元数据

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

数据服务:权限功能升级

新增服务项目,服务项目是数据服务的基本组织单元,是进行多用户隔离和访问控制的主要边界。后续您需要通过服务项目使用数据服务。

2022年05月26日

华东1(杭州)

数据服务概述

2022年05月24日

华东2(上海)

2022年05月19日

华南1(深圳)

2022年05月17日

华北2(北京)

2022年03月

功能名称

功能描述

发布时间

发布地域

相关文档

集成机器学习PAI:集成PAI Designer的工作流提供统一调度

调用您在机器学习平台中构建的PAI-Designer工作流,并按照节点配置进行调度生产。

2022年03月03日

华东2(上海)、华北2(北京)

2022年03月08日

华南1(深圳)、华东1(杭州)

2021年08月

功能名称

功能描述

发布时间

发布地域

相关文档

产品计费:策略优化及数据处理单元规格拓展

同步任务和集成任务对应的数据处理单元由1:1修改为3:1,且前200个集成任务免费,进一步降低数据上云成本。

同时,手动任务、汇总逻辑表不再计算数据处理单元,您将以更低的成本进行逻辑研发。

2021年08月19日

华北2(北京)、华东1(杭州)

计费说明

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

系统将依据您选择的数据处理单元规格分配不同的默认调度资源,选购的规格越高,分配的调度资源越多,可以支持的任务并发数越大,研发效率相应提升。

2021年08月19日

华北2(北京)、华东1(杭州)

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

智能研发版的数据处理单元规格拓展支持200。

2021年08月19日

华北2(北京)、华东1(杭州)

购买指引计费说明

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据源:可支持的数据源类型和版本拓展,优化数据源配置交互

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

2021年08月19日

华北2(北京)、华东1(杭州)

数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

添加MySQL数据源版本拓展支持8.0,您可以根据业务数据库的版本添加支持对应版本的数据源。

2021年08月19日

华北2(北京)、华东1(杭州)

创建MySQL数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

新增支持Hologres数据源,您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。同时支持基于Hologres数据源新建实时元表。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Hologres数据源新建元表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据源权限管控升级,增加对链接地址的查看权限控制,您可以更有效地提升数据源安全性。

2021年08月19日

华北2(北京)、华东1(杭州)

数据源权限列表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

Dataphin支持通用IP地址

为了提升网络连通配置的效率,Dataphin新增在VPC网络环境下各地域通用的IP地址,您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。

2021年08月19日

华北2(北京)、华东1(杭州)

网络连通解决方案

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展

为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动打开加速开关,即可实现数据服务模块的数据查询加速。

2021年08月19日

华北2(北京)、华东1(杭州)

创建项目开发Dataphin数据源并加速数据查询

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持的数据源类型和版本拓展。数据源类型增加了Impala、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0数据源。HBase数据源的版本拓展支持了2.x,您可以根据业务数据库的版本添加对应版本的数据源。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Impala数据源新建AnalyticDB for MySQL 3.0数据源Dataphin支持的数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

编码任务:Python计算任务的版本拓展,同时支持代码任务进行全局搜索

Python计算任务的版本拓展支持3.7。同时,Dataphin支持对全局代码任务进行搜索,您可以更有效地管理计算任务。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Python计算任务

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据集成:数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化

新增Hologres输入组件和输出组件。当输出组件为AnalyticDB for PostgreSQL,Dataphin支持一键建表的操作,以实现快速创建目标表。

同时,在数据源下拉列表中对于没有权限的数据源,您可以单击其后的申请权限,快速申请数据源的读写权限。

2021年08月19日

华北2(北京)、华东1(杭州)

配置Hologres输入组件配置Hologres输出组件

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

运维中心:运维中心支持一键终止补数据实例下所有节点的补数据操作及页面交互优化

为了提升运维任务的效率,支持一键终止运行中的补数据实例下所有节点的补数据操作。

2021年08月19日

华北2(北京)、华东1(杭州)

通用补数据实例

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持按字段名称和字段英文名搜索对应的物化节点及自动定位到对应的物化节点。

2021年08月19日

华北2(北京)、华东1(杭州)

逻辑表实例

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

离线整库迁移

为了满足更丰富的场景,Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for PostgreSQL中。

2021年08月19日

华北2(北京)、华东1(杭州)

支持的数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据安全

为了能够立即需要执行识别规则扫描数据,识别所有敏感字段,Dataphin支持手动触发识别规则扫描。

2021年08月19日

华北2(北京)、华东1(杭州)

创建、配置及手动触发识别规则

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

流批一体任务:新增属性配置及支持查看元表的引用信息

为了规避在任务参数处经常漏掉配置stat_date,Dataphin支持在实时任务配置的属性配置中新增stat_date的kv。

2021年08月19日

华北2(北京)、华东1(杭州)

开发流批一体任务

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

2021年08月19日

华北2(北京)、华东1(杭州)

新建元表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

2020年11~12月

功能名称

功能描述

发布时间

发布地域

相关文档

数据源

新增数据源Loghub、PolarDB、OSS、OceanBase、SAP HANA、DB2、TeraData。

2020年11月17日

华北2(北京)

新建离线数据源

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

数据集成

  • 新增自定义组件功能,支持用户自定义系统不支持的组件。其中,RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。

  • 新增输入组件PolarDB、LogHub、OSS、SAP HANA、DB2、OceanBase、TeraData和本地CSV,新增脚本配置模式。

  • 新增输出组件PolarDB、OSS、SAP HANA、DB2、OceanBase和TeraData,新增脚本配置模式。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

数据开发

  • 新增全局代码搜索功能,支持快速搜索Dataphin实例内所有的代码。

    说明

    历史提交过的代码不支持搜索。如果需要搜索历史代码,则需要重新提交代码任务。

  • 新增函数的历史版本回滚功能。

  • 新增资源的历史版本回滚功能。

  • 基于Flink计算引擎,新增开发流批一体任务,提高数据研发效率。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

运维中心

  • 新增运维大盘功能,为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势。

  • 新增运维列表及批量操作功能,提高运维管理效率。

  • 新增逻辑表运维功能,支持从字段视角对逻辑表节点进行运维管理。

  • 监控配置升级,支持批量监控配置、支持配置逻辑表字段监控、支持自定义发送次数和发送频率。

2020年11月17日

华北2(北京)

概述

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

资产质量

  • 新增数据源的资产质量监控规则,包括数据源连通性监测和表结构异动监测。

  • 新增实时元表的资产质量监控规则,包括统计趋势监测、实时多链路对比和实时离线数据核对。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

资产安全

新增资产安全增值功能包。资产安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。

2020年12月15日

华北2(北京)

资产安全

2020年12月15日

华南1(深圳)

2020年12月15日

华东2(上海)

数据服务

  • 新增Dev-Prod和Basic模式,以满足用户对资产安全性的管控。

  • 新增基于逻辑表开发API。

2020年11月17日

华北2(北京)

数据服务概述

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

2020年9月

功能名称

功能描述

发布时间

发布地域

相关文档

新建项目

  • 绑定离线计算源时,新增同步创建对应的数据源。

  • 系统通过项目粒度的方式,管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作,导致的数据泄露与安全问题。

2020年9月17日

华东2(上海)、华南1(深圳)和华北2(北京)

创建项目

编辑项目

Dev-Prod开发模式中,新增同时为Dev和Prod项目添加成员的功能。

管理项目空间的权限和计算源

离线计算任务

  • 新增任务克隆功能。

  • 新增版本回滚、版本对比功能。

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

管理计算任务

实时计算任务

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

管理计算任务

发布任务

  • 待发布对象列表新增移除对象功能。待发布对象列表新增移除对象功能。

  • 系统支持记住最近一次访问的列表(管道脚本、规范建模和数据处理)。

管理发布任务

业务板块

系统支持最多设置10位业务板块管理员。

创建数据板块

2020年7月

功能名称

功能描述

发布时间

发布地域

相关文档

基础研发版

基础研发版的定价及购买说明

2020年7月14日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引计费说明开通Dataphin

实时自定义源

系统支持通过上传JAR文件的方式,自定义数据源。

新建自定义源

实时计算元表

创建实时计算元表的数据源,新增实时自定义源。

续费

新增克隆实时计算元表。

新建元表

实时计算模板

新增克隆实时计算模板。

新建代码模板

发布任务

新增发布预检功能。

管理发布任务

实时计算任务

新增克隆实时计算任务。

管理计算任务

新增创建Flink_DataStream类型的实时计算任务。

创建Blink DataStream计算任务

实时计算函数

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

新建用户自定义函数

离线计算函数

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

新建用户自定义函数

资源管理

新增查看资源的引用信息、保存资源的版本信息、回滚资源的版本和下载资源包。

创建资源

2020年5月

Dataphin于2020年5月19日结束公测,2020年5月20日开始正式商业化。

功能名称

功能描述

发布时间

发布地域

相关文档

数据处理单元

数据处理单元规格拓展,规格包括500、1000、1500、2000、2500和3000。

2020年5月9日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引开通Dataphin计费说明升级

数据服务

数据服务规格拓展,规格包括api.base(最大500 QPS)、1api.s1.small(最大2500 QPS)、api.s1.medium(最大5000 QPS)、api.s2.large(最大10000 QPS)。

开通Dataphin升级

自动续费

新增自动续费功能,帮助您快速地续费Dataphin实例。

续费

资源统计

新增系统资源用量统计功能,帮助您查看Dataphin系统中的资源用量情况。

查看资源使用情况

行为看版

行为数据抽样预览功能更新,帮助您查看行为数据的分布及抽样结果。

查看行为数据

2020年4月

功能名称

功能描述

发布时间

发布地域

相关文档

数据同步

如果您是在2020年4月份之后购买的Dataphin,则数据同步已升级为数据集成。数据集成为您提供简单高效、安全可靠的数据同步平台。

2020年4月9日

华北2(北京)和华南1(深圳)

数据引入

计算设置

支持离线计算引擎和实时计算引擎的配置。

设置Dataphin实例的计算引擎

计算源

计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。

计算源

数据源

支持创建离线数据源和实时数据源,通过数据源将业务数据引入Dataphin平台。

数据源

业务板块

创建业务板块时,支持设定板块管理员,帮助您更好地管理业务板块。

业务板块

发布管理

新增数据集成、实时计算任务的发布管理。

管理发布任务

运维调度

全局运维中新增实时任务和实时实例。

概述

监控报警

新增实时报警记录和实时监控配置,方便您及时了解任务运行的状况。

配置实时监控报警规则

数据处理

新增实时数据处理,帮助您处理实时计算任务。

实时数据处理

数据集成

致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。

数据集成

告警中心

为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。

告警中心

资产质量

为您提供全链路的资产质量方案,包括质量规则配置、质量监控、智能报警等功能。

资产质量

数据服务

支持通过界面配置的方式构建API和Dataphin数据源,以满足不同数据的使用场景,同时降低数据的开发门槛,帮助企业实现数据应用价值最大化。

数据服务概述

资产质量的售卖

新增资产质量售卖的说,帮助您了解如何购买资产质量增值功能。

购买指引开通Dataphin

资产质量的计费

新增资产质量的计费说明。

计费说明

2019年12月

功能名称

功能描述

发布时间

发布地域

相关文档

Dataphin实例售卖

新增华北2(北京)地域的Dataphin实例售卖。

2019年12月25日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引开通Dataphin

基础研发版

全域基础用户仅限购买基础研发版,基础研发版的数据处理单元规格仅支持200。

购买指引

升级

支持通过升级的方式,将智能研发版的低规格数据处理单元升级为高规格数据处理单元,同时也可以将基础研发版升级为智能研发版。

升级

智能研发版

全域标准用户仅限购买智能研发的数据处理单元为1500规格。

购买指引

2019年11月

功能名称

功能描述

发布时间

发布地域

相关文档

Dataphin实例售卖

新增华南1(深圳)地域(Region)的Dataphin实例售卖。

2019年11月29日

华东2(上海)和华南1(深圳)。

购买指引开通Dataphin

数据处理单元

智能研发版的数据处理单元的规格由200个调整为500个,同时数据处理单元规格新增1500个。

华东2(上海)和华南1(深圳)。

计费说明

升级

支持通过升级操作的方式,将低规格数据处理单元升级为高规格数据处理单元。

华东2(上海)和华南1(深圳)。

升级

数据服务

数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。

2019年11月14日

华东2(上海)

服务

数据萃取

面向各行各业数据价值深度挖掘的诉求,萃取为您提供以目标对象为中心的数据打通和深度挖掘,助力您实现业务的融会贯通并驱动创新。

萃取

资产治理

Dataphin治理支持您进行数据使用消耗分析,从全局视角,把控计算与存储成本,提升资源使用效率。

治理

元数据

支持您使用手动刷新获取最新的元数据信息,将指定的数据表元数据刷新至Dataphin系统。

刷新元数据

安全

为您提供权限的管理。

安全中心

通知中心

支持将系统内所有流程任务的消息汇集到通知中心为您展示。

查看系统消息

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈