确定需求
是否有公共使用，命名及逻辑相似的统计指标，目前已经重复建设使用，需要通过上述设计规范化？举例：数据分析师需要了解A公司电商业务中最近1天厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（原子...
strongSwan配置
使用IPsec-VPN建立站点到站点的连接时，在阿里云侧完成VPN网关的配置后，您还需在本地数据中心的网关设备中添加VPN配置，使本地数据中心和阿里云之间可以成功建立IPsec-VPN连接。本文以strongSwan为例在本地数据中心的网关设备中添加VPN...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
离线数仓构建流程概述
使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...
离线数仓构建流程概述
使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...
使用限制
在使用Dataphin前，建议您先了解产品相关使用限制，确保业务可顺利开展。本文为您介绍使用Dataphin过程中的操作限制。浏览器限制 您需要使用Google Chrome浏览器90.x及以上版本或者奇安信可信浏览器登录Dataphin。使用限制 为保障软件系统...
引入预制模型
模型市场为您提供开箱即可试用的模型示例，降低您的学习成本以及理解Dataphin的成本，帮助您快速建立企业模型。本文为您介绍如何导入模型示例。视频介绍 权限说明 仅支持超级管理员、系统管理员导入模型。计算引擎说明 仅当计算设置中的...
维度层（DIM）
同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，进一步保证维度的一致性和便捷使用性。维度表设计原则 尽可能生成丰富的维度属性。例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好...
Python内置资源包
在Dataphin内，除了支持本地方式使用 PyHive和 PyOdps外，还支持通过使用 from dataphin import odps 和 from dataphin import hivec 对象句柄方式进行使用。该方式解决了本地方式存在的以下问题：如果Hive使用账号密码认证，就需要开发者...
Python内置资源包
在Dataphin内，除了支持本地方式使用 PyHive和 PyOdps外，还支持通过使用 from dataphin import odps 和 from dataphin import hivec 对象句柄方式进行使用。该方式解决了本地方式存在的以下问题：如果Hive使用账号密码认证，就需要开发者...
新建和管理词根
建立和维护可收敛的词根库，能够为资产统一管理提供依据，让数据流通且通畅无歧义。本文为您介绍如何创建词根。前提条件 已被指定为超级管理员或数据标准管理员用户角色，如何添加角色，请参见 添加Dataphin成员。权限说明 仅超级管理员、...
新建和管理词根
建立和维护可收敛的词根库，能够为资产统一管理提供依据，让数据流通且通畅无歧义。本文为您介绍如何创建词根。前提条件 已被指定为超级管理员或数据标准管理员用户角色，如何添加角色，请参见 添加Dataphin成员。权限说明 仅超级管理员、...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，明细数据层的表通常也被称为事实逻辑表。汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的...
概述
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
创建FTP数据源
如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成FTP数据源的创建。更多FTP信息，请参见 FTP官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建...
元数据仓库共享模型概述
业务租户：统称为 开发租户，进行数据中台建设的租户，即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 ...
创建FTP数据源
如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成FTP数据源的创建。更多FTP信息，请参见 FTP官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
租户设置
数据建设与治理 开启后，可勾选目标租户所负责的功能模块。数据处理单元：设置数据处理单元配置数。数据处理单元配额需大于0，但不能超过剩余处理单元。规则配额：包括域内质量规则和全域质量规则，统计已开启监控的质量规则数。说明 租户...
变更管控
通过配置管控规则及生效范围，在执行变更前进行相应的校验，并根据规则校验结果决定是否可以通过该环节的约束，从而避免非预期的数据变更或者误删除等高危操作，影响下游业务使用。变更管控分为 变更规则 和 变更策略 两部分：变更规则 是...
变更管控
通过配置管控规则及生效范围，在执行变更前进行相应的校验，并根据规则校验结果决定是否可以通过该环节的约束，从而避免非预期的数据变更或者误删除等高危操作，影响下游业务使用。变更管控分为 变更规则 和 变更策略 两部分：变更规则 是...
什么是VPN网关
VPN 网关（VPN Gateway）是一款提供网络连接服务的产品，通过建立加密隧道的方式实现企业本地数据中心、企业办公网络、互联网客户端与阿里云 专有网络 VPC（Virtual Private Cloud）之间安全可靠的私网连接。说明 阿里云VPN网关在中国相关...
调用API
在为企业建立API生态场景中，您需要调用API进行二次开发或开放API给合作伙伴等，帮助企业实现数据的资产化和价值化。本文为您介绍如何调用API。前提条件 API已发布至数据服务市场。具体操作，请参见 测试与发布API。需先创建应用。具体操作...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
开通Dataphin
开通Dataphin服务后，即可以使用Dataphin的功能。本文为您介绍如何开通Dataphin。前提条件 请确认您已完成阿里云账号的创建，并完成账号的实名认证。如何创建阿里云账号及进行实名认证，请参见 准备阿里云账号。购买说明 暂不支持金融云...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
设置Dataphin实例的计算引擎
在开始使用Dataphin前，您需要完成Dataphin实例计算引擎的设置，即配置Dataphin实例的计算集群地址。在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。本文为您介绍如何设置Dataphin实例的计算引擎。背景信息 当前，Dataphin...
Dataphin免费试用申请
申请信息填写完后，勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》，单击 免费试用，体验Dataphin功能。相关文档 试用开通成功后，您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程，也可按照 导入模型 来导入...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
使用基于OSS创建的Hive外部表进行离线集成
如果在使用离线集成过程中报错 Description:[与HDFS建立连接时出现IO异常.].-java.io.IOException:ERROR:not found login secrets,please configure the accessKeyId and accessKeySecret。您需要在 core-site.xml 配置文件中添加以下配置...
- 产品推荐
- 这些文档可能帮助您