什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算平台,并开放可拓展的能力,以适应不同行业客户的平台技术架构和特定诉求。

Dataphin产品能力大图如下图所示。gagagh您可以在阿里云数据中台,进一步了解Dataphin。

视频简介及核心功能介绍

Dataphin简介

核心功能特性速览

功能

描述

相关文档

平台管理

Dataphin的基础功能,包含账号管理、计算设置和智能引擎。超级管理员需要通过管理中心来进行成员管理和计算设置,同时您也可以通过智能引擎来配置计算和存储规则,以提高数据构建的效率。

管理中心

全局规划

基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义业务板块、数据域、项目、数据源、计算源和统计周期。

数仓规划

数据引入

基于全局设计定义的项目空间与物理数据源,将各业务系统、各类型的数据抽取加载至目标数据库。这个过程可以实现各类业务数据的同步与集成,助您完成基础数据中心建设,为后续进一步加工数据奠定基础。

数据引入

规范定义

以维度建模作为理论基础,构建总线矩阵,划分并定义数据域、业务活动(业务过程)、业务对象(维度)、原子指标、业务限定、时间周期和派生指标,以保障数据标准化、规范化的产出。

规范建模

建模研发

基于规范定义的数据元素,进行设计与构建可视化的数据模型。数据模型提交发布后,Dataphin自动化地生成代码与调度任务,大大提升了数据研发效率。

规范建模

编码研发

基于通用的代码编辑页面,灵活地进行个性化的数据编码研发,完成任务发布。

编码研发

资源及函数管理

  • 支持管理各种资源包(例如JAR、文本文件),以满足部分数据处理需求。

  • 支持查找与使用内置的系统函数。

  • 支持用户自定义函数,以满足数据研发的特殊加工需求。

发布

生产开发隔离项目中,提交成功的任务对象会展示在待发布列表,该页面为您展示已提交的新增、更新、下线任务、建模对象、资源和函数等操作。发布成功后,被发布的对象从待发布列表移除,并生成一条发布成功记录;成功发布的操作在生产环境生效。

发布中心

调度运维

对建模研发、编码研发生成的代码任务进行基于策略的调度与运维,确保所有任务正常有序地运行。为您提供针对任务和实例的运维入口。运维操作包括:运维大盘、任务运维、实例运维、监控配置、部署数据生产任务、查看任务运行情况、管理及维护任务之间的依赖关系等。

运维中心

资产清单

支持采集、解析和管理基础数据中心、公共数据中心、萃取数据中心的元数据。在元数据中心基础上,深度分析元数据,实现数据资产化管理。为您可视化地呈现资产分布、元数据详情等,方便您快速查找、深度了解数据资产。

资产清单

数据标准

数据标准是为业务、技术和管理提供服务和支持。包括数据标准、标准集、落标映射规则、标准代码(码表)、词根等功能。

数据标准

权限管理

为您提供多种资产对象和功能权限的精细化管理,支持权限主动申请与交还、权限审批、主动授权或回收权限等功能,实现了权限最小化管控,同时,方便您查看权限审批流程各环节的进展,及时跟进处理流程。

权限管理

资产质量

资产质量基于Dataphin平台,为您提供全链路的资产质量方案,包括质量大盘、配置质量规则、查看校验记录、质量监控、智能报警、查看质量报告等功能。

资产质量

资源治理

资源治理具备资源统计分析能力,可智能识别当前系统内低价值的数据资产和数据任务,并进行优化提示。您可以在治理工作台中,一站式的进行资源的优化处理,全局把控计算与存储成本,提升系统使用效率。

资源治理

资产安全

资产安全模块提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规。

资产安全

数据服务

数据服务为您提供高效、便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。

数据服务

告警中心

告警中心是基于Dataphin构建的监控告警平台,为您展示资产质量、实时计算、数据服务模块的告警事件和推送记录。

告警中心

为什么选择Dataphin

Dataphin可以屏蔽不同计算与存储环境的差异,帮助您快速引入数据并规范化地构建数据。您可以通过规范建模自动开发数据,萃取以实体对象为中心的标签数据体系,沉淀业务数据知识、数据资产,治理数据问题。同时,Dataphin还支持数据表查询、智能语音查询等多种类型的数据服务。

选择Dataphin,您可以轻松构建具有以下优势的数据体系:

  • 数据规范统一:采用维度事实建模理论,对维度、维度属性、业务过程、指标字段等进行严格的标准化、规范化定义,保障资产质量,避免数据指标定义的二义性。

  • 自动化编码

    • 高效且自动化的编码:基于函数化理念,对通用数据计算逻辑进行组件化定义,并可自由组建统计指标,从而实现自助化建模研发,系统自动生成代码执行数据生产。

    • 智能计算优化:支持从业务视角进行逻辑建模。逻辑模型发布后,系统自动化进行物理建模、编码,从而降低对开发人员的技术能力依赖。

  • 一站式研发体验:一站式地完成数据引入、建模、研发、运维、数据查找及探查等过程,研发链路统一且高效。

  • 系统化构建数据目录:基于规范化建模、高效自动化的元数据抽取,以标准的技术框架系统地构建规范的业务化数据目录,形成数据资产地图,方便业务查找及应用。

  • 高效的数据检索:基于元数据及业务数据构建数据图谱,实现快速、智能检索数据表及数据。

  • 可视化的数据资产:系统化构建业务数据资产大图,从数据视角还原业务系统、提取业务数据,快速感知业务关键环节及数据。

  • 数据使用简单可依赖:通过主题式数据查询服务,您可以快速查询和访问研发构建的数据逻辑表,简化约80%的查询代码。

同时,Dataphin可以为您提升构建数据体系的效率,降低成本:

  • 提升效率:提供全链路、一站式、智能化的数据构建与管理工具,降低数据建设门槛。不同背景的开发人员可以自助ETL,快速满足业务需求。通过OneData(OneModel、OneID、OneService)方法论体系,可以完成模型和指标的抽象与自助定义、代码自动化生产、主题数据自动聚合并输出服务。

  • 降低成本:以元数据为基础、算法智能为驱动,实现物理和逻辑分层的智能自动化生产。同时,分析数据资产全链路,优化计算及存储资源分配,从而降低数据生产及消费成本。

如果您想了解Dataphin是否适用于您的需求场景,请参见应用场景

如果您希望了解更多产品功能,可申请产品免费试用,更多请参见Dataphin免费试用申请

Dataphin定价

建议您先提供企业数据建设诉求及背景信息进行咨询,确认Dataphin功能及版本是否符合需求,再进行开通购买。

Dataphin支持按月购买的付费模式,关于Dataphin的计费标准请参见计费说明

联系我们

您在使用Dataphin的过程中有任何疑问或建议,欢迎加入钉钉咨询群进行反馈。钉钉咨询群号:23381533