2024年12月03日-Dataphin新版本发布
Dataphin于2024年12月03日发布V4.4版本,本次升级相较于历史版本:
新增系统公告功能,可通过文本或图片方式发布系统通知。
离线集成任务新增性能诊断功能,可通过读写时长、耗时操作及内存垃圾回收(GC)时长,帮助您排查导致集成任务运行缓慢的原因;新增运行记录列表功能,可管理当前项目下的所有离线集成任务的运行记录。
数据库SQL新增支持PostgreSQL、StarRocks、ClickHouse三种数据源。
数据标准新增标准模板库,系统内置基于国标文件等梳理的常用码表,包括货币代码、中华人民共和国行政区划代码、人的性别代码等。
元数据采集新增支持StarRocks、Hive(MySQL元数据库)、Hologres三种大数据存储数据源。
资产运营升级,支持设置使用说明;支持自定义属性;自动上架规则支持查看执行明细便于排查资产变更记录;支持在上架表资产时定义自定义指标。
数据服务支持查看API的调用日志;支持设置调用明细日志及调用统计的存储位置;API文档新增支持下载OpenAPI YAML文件。
更多功能更新信息,请参见功能更新记录。
2024年10月09日-Dataphin新版本发布
Dataphin于2024年10月09日发布V4.3版本,本次升级相较于历史版本:
ElasticSearch数据源支持HTTPS连接,支持自签名证书。
内置Python新增Python 3.11版本。
删除项目时,可提示项目下存在的对象列表,帮助操作者快速定位阻塞项目删除的对象。
PolarDB-X输入组件支持QuerySQL模式、PostgreSQL输出组件支持一键建表。
离线整库迁移:任务支持自定义任务名前后缀、系统生成的目录下支持新建和移动任务。
离线计算任务属性配置优化:非SQL任务新增运行资源配置,可为任务分配运行所需的CPU和内存;新建任务可设置任务的优先级,默认优先级可统一配置;引用了账号密码全局变量的SQL任务可配置是否隐藏MaxCompute logview URL。
资产清单体验优化:数据表、指标、字段列表新增支持从项目视角查看;血缘关系图可配置仅展示直接血缘。
数据质量新增支持导出自定义SQL规则功能。
数据安全新增内置模板库,包括能源电力行业、车联网行业、智能网联汽车行业分类分级模板。
元数据采集新增支持AnalyticDB for MySQL、PolarDB-X、IBM DB2、SAP HANA四种数据源。
资产运营升级:支持指标资产的上架管理;支持配置自动上架规则,可自动完善资产信息或执行上架操作;支持查看资产变更记录,包括属性变更、状态变更等以便追溯。
数据服务新增支持SelectDB作为数据源(仅支持数据源直连模式);API支持SQL注入检测。
受限输出:数据服务的Dataphin数据源功能后续不再输出,仅历史已创建的Dataphin数据源可继续使用。
更多功能更新信息,请参见功能更新记录。
2024年08月27日-Dataphin新版本发布
Dataphin于2024年08月27日发布V4.2.4版本,本次升级相较于历史版本:
增加个人版、敏捷研发版新增数据库计算引擎类型的售卖,以适应不同业务场景的多元化需求。
在研发平台设置新增周期调度任务的默认生成的调度时间,包括区间内随机和固定时间,区间内随机可分散服务器压力,提升稳定性。
数据质量支持将问题清单导出,格式为Excel,以便业务人员统计与归纳。
更多功能更新信息,请参见功能更新记录。
2024年07月25日-Dataphin新版本发布
Dataphin于2024年07月25日发布V4.2版本,本次升级相较于历史版本:
菜单变更:资产模块拆分为治理和资产2个模块,其中,治理模块包含:资产清单(原资产目录)、数据标准、数据质量、数据安全、资源治理、元数据中心;资产模块包含:资产全景、资产目录(新功能)、标准清单、目录管理(原资产专题管理)。
新增元数据中心功能模块,包括采集任务和采集实例管理、业务系统管理、元数据清单查看等功能。支持从各业务系统中抽取、加工、集中存储和管理元数据,以支持数据治理,并加强组织内部数据的组织、检索和分析能力。
资产清单可统一查看Dataphin资产和从数据源采集到的业务系统表资产。
资产专题升级为资产专题目录,可设置多个专题,每个专题下可设置多级目录;可将资产手动上架到不同的资产目录,并配置展示名、查看权限等信息,以提升数据查找效率,降低数据理解成本,助力资产运营。
更多功能更新信息,请参见功能更新记录。
2024年06月13日-Dataphin新版本发布
Dataphin于2024年06月13日发布V4.1版本,本次升级相较于历史版本:
全局视觉优化:页面主题由传统的深色风格转变为了明亮的浅色主题,更轻盈的颜色搭配不仅可以减轻视觉疲劳,还可以引导使用者的注意力自然而然地集中到页面的主要内容,从而提升工作效率。
代码搜索优化,支持跨项目搜索相关任务,支持根据搜索结果列表进行二次筛选等。
离线集成优化:
关系型数据库输入输出组件支持配置批量读取条数。
DM输出组件支持一键生成目标表,包括目标表名、字段类型、精度。
过滤组件新增支持NOT LIKE操作符。
离线整库迁移圈选表优化:支持批量输入表名后精确匹配自动选中表或模糊匹配展示相关结果,以便进行批量选择。
补数据任务定时运行时间支持选择月末;支持配置实例及运行日志的保留时长;支持配置是否定期清除补数据工作流及手动实例。
数据标准功能升级:
标准模板支持配置编码生成规则,引用该标准模板生成的标准编码规则,更具规范性,降低手动配置成本和管理成本。
新增标准变更订阅功能,可通过站内信、邮件发送变更通知;支持在数据标准列表中批量订阅变更通知。
更多功能更新信息,请参见功能更新记录。
2024年05月16日-Dataphin新版本发布
Dataphin于2024年05月16日发布V4.0版本,本次升级相较于历史版本:
支持增购标签数,不同标签工厂版本支持增购不同的标签数,试用版默认10个标签,不支持增购;基础版默认50个标签,不支持增购;标准版/高级版默认300个标签,支持增购500、700、1000、1500个标签。
新增自定义资源组功能,支持调度资源分组管理以实现调度资源隔离,支持为任务配置自定义资源组。
离线集成FTP输入输出组件、Elasticsearch输入组件、MongoDB输入组件优化,支持收藏常用组件。
逻辑表支持自定义命名规范。
新增全局角色管理功能,支持通过自定义全局角色来管控用户访问的功能模块、某个模块下的功能以及模块中的查看与管理权限;支持开启、停用系统内置全局角色。
新增镜像源功能,支持通过Python镜像源在线安装Python Module。
新增SelectDB数据源,支持应用于离线集成功能。
新增基于识别特征的智能推荐映射关系功能,数据标准和数据安全模块共用识别特征能力,支持给数据标准配置关联的识别特征。
新增自定义质量规则属性功能,创建质量规则时,可根据属性定义填写对应的业务属性,丰富质量规则信息。
治理工作台升级,新增支持手动录入质量问题,纳入标签对象的问题管理,以通知相关负责人及时进行整改,从而推动提升资产可用性和健康度。
更多功能更新信息,请参见功能更新记录。
2024年04月16日-Dataphin新版本发布
Dataphin于2024年04月16日发布V3.14版本,本次升级相较于历史版本:
新增Python三方包全局管理功能,一次安装多次引用,提升Python任务开发效率。
支持页面水印设置功能,支持自定义页面水印内容及设置水印样式,包括字体大小、是否加粗、旋转角度、字体颜色、水印间距。
实时任务支持引用全局变量以解决DDL语句中明文密码的问题。
运维中心支持在DAG图上针对有操作权限的跨项目节点进行操作而无需切换项目;实时运维增加已完成运行状态。
数据标准新增码表目录功能,可对码表进行分类管理;支持批量导入导出码表、词根;标准集的审批配置升级,支持开启标准下线审批,可配置批量操作是否合并生成审批任务。
数据安全新增基于血缘关系自动继承上游分类分级功能,同时结合默认脱敏策略,保障自动继承结果的数据可以命中脱敏算法,提升数据安全性;识别结果管理功能优化,修改分类分级可基于识别记录自动推荐。
新增码表目录、公共日历、离线代码模板、离线物理表对象的跨租户发布。
更多功能更新信息,请参见功能更新记录。
2024年02月27日-Dataphin新版本发布
Dataphin于2024年02月27日发布V3.13版本,本次升级相比较历史版本:
新增排他编辑锁功能,支持在锁定期内不被其他用户抢锁,保障内容的安全性。
新增Amazon S3、TDengine数据源;MySQL数据源新增RDS MySQL版本,使用MySQL 8.0的驱动,支持OpenSSL 3.0,且兼容MySQL5.6、MySQL 5.7版本。
新增跨节点参数功能,Python、SQL、Shell计算任务支持给一个或多个变量参数赋值,并将该参数及其赋值直接传递给依赖该任务的直接下游节点。
数据质量新增知识库功能,支持记录配置问题和解决方案,便于了解该知识相关的质量问题、相关政策文件等,并可关联质量规则和治理流程中关联知识库。
直连数据源创建API新增支持TDengine数据源;基于服务单元创建的API,不限数据源类型,支持最大返回条数为1万条;直连数据源创建API支持自定义配置复杂SQL;高级SQL模式支持以传参的方式动态指定SQL语句查询返回的字段,参数名需以var_cols开头;API变更后发布流程优化,减少编辑限制。
分析平台新增手工表功能,支持以电子表格的方式在线编辑我的手工表数据,并可选择是否将变更内容同步到计算引擎进行保存;支持分析给他人实现灵活协作。
更多功能更新信息,请参见功能更新记录。
2023年11月21日-Dataphin新版本发布
Dataphin于2023年11月21日发布V3.12版本,本次升级相较于历史版本:
公共日历新增财务日历模板,支持选择455/544/454/4*13等财务日历;支持自定义周起始日、财务基准日等。
新增实时任务迁移工具,支持将实时任务从Flink VVP平台一键迁移至Dataphin。
支持小时/分钟周期调度任务未完成告警配置。
新增数据探查功能(需开通质量模块才可使用该功能),支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务。
数据标准拆分标准集和标准模板,分别用于定义标准的管理属性(如查看权限、审批模板)和填写规范(即属性定义),简化操作链路。
安全扫描适配分区字段不是ds或者无分区的情况,采用全表扫描+Limit条数的方式进行扫描。
数据服务新增组合API,支持基于已发布的API通过服务编排的方式创建新的API,建议避免重复开发,以降低管理成本。
更多功能更新信息,请参见功能更新记录。
2023年08月08日-Dataphin新版本发布
Dataphin于2023年08月08日发布V3.11版本,本次升级相较于历史版本:
新增标签工厂功能模块,包括离线标签、离线视图、行为关系、标签市场、标签离线服务和应用管理功能。标签平台是企业一方标签生产、应用和管理的平台,面向开发、业务和管理人员沉淀易开发、好找好用、可治理有价值的标签核心资产。
新增分析平台功能模块,分析平台是一个面向个人视角,快速便捷的数据平台。本期支持Notebook任务,支持您以笔记本的形式编写SQL代码与Markdown文本相结合的富媒体内容。
资产目录新增专题广场,实现资产分类管理;资产列表升级,优化搜索及查看路径。
资产治理功能全面升级:
研发事中治理优化,创建逻辑表时可为字段设置资产治理相关属性,例如为字段匹配词根、关联数据标准、快速创建质量监控(设置字段是否唯一、是否为空)和指定字段的数据安全分类;创建离线物理表时也可为字段设置资产治理相关属性,例如为字段匹配词根、关联数据标准和指定字段的数据安全分类。
数据标准新增批量导出数据标准功能;支持通过Excel批量导入已映射关系并查看导入记录;支持在数据标准配置质量监控;支持配置全局落标评估任务。
资产质量支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程,以提高治理效率。
资产安全支持行业级别的多级数据分类体系,可以按照主题进行多层级的数据分类建设;系统内置安全行业模板,便于用户开箱即用;支持表负责人修改自己所负责表的分类分级,提升安全模块运营效率。
通知中心新增通知设置功能,可设置消息通知的发送渠道,将发起审批任务或进行审批操作通知相关人员。新增邮件和钉钉群消息通知。
更多功能更新信息,请参见功能更新记录。
2023年07月11日-数据处理单元拓展及数据萃取功能下架通知
2023年07月11日起,Dataphin售卖变更如下:
智能研发版和基础研发版可选的数据处理单元规格拓展,支持3500、4000、4500、5000。
数据萃取功能下架,不支持新购和升级,历史已购客户续费不受影响,可继续使用该增值功能。
2023年06月20日-Dataphin新版本发布
Dataphin于2023年06月20日发布V3.10版本,本次升级相比较历史版本:
新增数据下载设置功能,可以更好的管控数据下载范围,提升数据安全,支持数据下载时设置水印并可设置文件格式。新增数据权限审批策略功能,可根据项目及板块归属、环境、表类型、数据安全等级、权限类型设置审批策略。
监控告警新增对象根据项目和数据表级别自动配置对应的告警,减少批量配置成本,支持按照任务类型和调度类型配置项目级别的告警,支持逻辑表整表配置表级别的监控告警。
数据标准新增数据分级、数据分类、值域、是否唯一值等系统属性,此类属性内置质量监控配置,可通过一键引用系统属性实现在创建数据标准时快速配置质量监控模板,降低配置成本,提升监控配置的正确性。
资产质量新增治理工作台功能,实现从质量规则配置、质量问题发现、质量问题整改的完整质量提升链路。
更多功能更新信息,请参见功能更新记录。
2023年04月25日-Dataphin新版本发布
Dataphin于2023年04月25日发布V3.9版本,此次更新包含了多项重要功能的优化和改进,以更好地满足用户对数据管理和分析的需求。相比历史版本:
新增支持Hologres计算引擎。
新增支持OpenGauss数据源、SAP Table数据源、StarRocks数据源、Hudi数据源、Doris数据源、Greenplum数据源。
资产质量新增跨源两表字段统计值一致性的质量规则模板,用于跨数据源的数据对比;有效性/字段格式校验的规则模板增加like表达式;定时调度支持引用公共日历来实现条件触发;新增批量配置质量规则。
数据标准与资产质量相互关联,创建数据标准可被资产质量引用,以快速创建质量监控规则;资产安全内置多种常用的识别规则,如身份证、地址、手机号等;新增默认脱敏策略功能。
更多功能更新信息,请参见功能更新记录。
2023年01月18日-Dataphin新版本发布
Dataphin于2023年01月18日发布V3.7版本,进一步增强资产建设易用性、拓展资产治理完备性、提升基础能力开放性。相比较历史版本:
新增开发环境任务运行记录查看功能,优化逻辑表创建体验,集成任务支持自动依赖解析,提高数据研发流程整体提效。
加大国产化支持程度,新增支持南大通用Gbase 8a数据源、TiDB数据源、人大金仓KingBase数据源、GoldenDB数据源以及新增支持奇安信浏览器。
数据标准体验优化,支持审批模板及公共属性配置,新增落标明细;安全识别规则升级,可查看任务执行详情及识别结果,资产治理链路更完善。
更多功能更新信息,请参见功能更新记录。
2022年11月08日-Dataphin降价通知
为了迎合灵活多变的市场需求并适应时代发展,Dataphin不断推出更优质的产品功能及更完善的售后服务。为回馈新老客户的支持,Dataphin将针对数据处理单元模块进行降价。降价公告,请参见Dataphin降价通知。
版本 | 数据处理单元规格 | 2022年11月08日起 | 2022年11月08日前 |
智能研发版 | 200 | 25,000 | 25,000 |
500 | 33,500 | 50,000 | |
1000 | 42,000 | 85,000 | |
1500 | 50,500 | 120,000 | |
2000 | 59,000 | 150,000 | |
2500 | 67,500 | 175,000 | |
3000 | 76,000 | 200,000 | |
基础研发版 | 200 | 8,500 | 8,500 |
500 | 17,000 | 15,000 | |
1000 | 25,500 | 25,000 | |
1500 | 34,000 | 35,000 | |
2000 | 42,500 | 40,000 | |
2500 | 51,000 | 45,000 | |
3000 | 59,500 | 50,000 | |
敏捷研发版 | 200 | 4,000 | 4,000 |
2022年11月03日-Dataphin新版本发布
Dataphin助力于满足不同客户的业务需求,提升数据治理水平,于2022年11月03日发布Dataphin 3.6版本。相比较历史版本:
新增智能运维模块,包括调度限流和基线运维。
新增权限审计模块,可对自己的权限进行审计。
新增全域质量模块、实时质量支持Apache HBase。
数仓规划、数据集成、概念建模、运维中心、数据标准、资产安全、数据质量、服务、安全等功能升级优化。
更多功能更新信息,请参见功能更新记录。
2022年07月19日-Dataphin新版本发布
为了提供更全面的服务体系,聚焦满足客户需求,提升用户体验,2022年07月19日发布Dataphin 3.3版本。相比较历史版本:
售卖版本新增基础研发版和敏捷研发版。
数据建模、数据萃取、资产、服务等模块整体优化升级。
更多功能更新信息,请参见功能更新记录。
2022年06月10日-Dataphin更名通知
为了更好地帮助广大客户解决数据资产建设问题,显著提升数据治理水平,Dataphin将进一步加强资产治理方向的投入,正式更名为“智能数据建设与治理Dataphin”,希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业级数据中台。更名公告,请参见Dataphin更名通知。
2020年12月15日-Dataphin上线资产安全功能包
资产安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。
2020年5月20日-Dataphin正式商业化
Dataphin于2020年5月19日结束公测,从2020年5月20日开始正式商业化。
2020年4月9日-数据同步能力已升级为数据集成
如果您是在2020年4月之后购买的Dataphin,则数据同步能力通过数据集成功能实现(即系统不再提供数据同步的功能入口)。数据集成升级了原有数据同步的能力,包括丰富了数据源种类、增加了数据清洗功能、批量同步和逻辑表同步等,为您提供更丰富强大、简单易用的数据同步平台。