逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
核心概念
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。一个数据板块可以包含多个项目，Dataphin成员可以加入到多个不同的项目。一个数据板块可以有多个项目，但是一个项目只能属于一个数据...
资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
分析业务过程
对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的内容是什么。数据在什么情况下会更新，更新逻辑是什么。业务过程可以是单个业务事件（例如交易的支付、退款），也可以是某个事件的状态（例如当前的账户余额），还可以是...
定义维度与构建总线矩阵
定义维度 在划分主题域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
Alibaba Blink实时模式资源自定义
实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，以Native K8s的...
Alibaba Blink实时模式资源自定义
实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，以Native K8s的...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
合规&认证
安全合规认证 在帮助各行各业的企业实现数字化的过程中，瓴羊已经建立齐了一套科学有效的数据安全保护体系。瓴羊积极参与监管以及行业协会牵头的数据安全与合规标准，向行业输出瓴羊的最佳合规实践，得到了监管以及行业的认可与好评。目前...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
漏洞管理
Dataphin实施了漏洞管理流程，结合使用商业化工具和内部专门...该白盒漏洞扫描针对产品的源代码进行语法、结构、过程、接口等的白盒测试，用以发现应用程序的安全风险。经过安全团队白盒漏洞扫描，最终Dataphin系统的安全评价为：安全系统。
升级
数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准包括数据标准、标准集、落标映射规则、标准代码（码表）、词根等功能。升级规则如下：敏捷研发版可升级为基础研发版或智能研发版。基础研发版可升级为...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
离线视图概述
可以选择表映射、SQL加工以及表单加工的方式对离线视图进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线视图。离线视图的加工方式不同，创建过程不同。描述说明如下：创建方式 描述 ...
概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
什么是Dataphin
选择Dataphin，您可以轻松构建具有以下优势的数据体系：数据规范统一：采用维度事实建模理论，对维度、维度属性、业务过程、指标字段等进行严格的标准化、规范化定义，保障资产质量，避免数据指标定义的二义性。自动化编码：高效且自动化的...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息以及项目的成员管理。同时您...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。创建标签项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息、项目的成员...
告警中心概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
计算设置概述
为了保证修改效率，系统在修改过程中不会对计算源的连通性进行校验，请谨慎确认配置的正确性，配置错误可能导致任务失败。修改完成后，建议对计算源进行手动连通性测试。修改计算设置后，配置项将在 30秒内 应用在计算源配置上。在同步完成...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
- 产品推荐
- 这些文档可能帮助您