数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
数据建模：智能数据建模
沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力，并通过数据建模快速构建企业数据资产。功能概述 智能数据...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
规格及选型
案例七：大型互联网企业 用户为大型互联网企业，各业务线具有各自独立的业务中台，企业存在统一的数据中台，希望可以快速部署独立资源支持不同的业务负载，且未来不会产生数据孤岛。建议：使用 AnalyticDB PostgreSQL版 Serverless版本，...
受众与核心能力
同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
管理网络实例
您可以将要互通的专有网络VPC（Virtual Private Cloud）网络实例、边界路由器VBR（Virtual Border Router）和云连接网CCN（Cloud Connect Network）网络实例连接到云企业网实例中。加载后，云企业网实例会自动学习发布已加载的网络实例的...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
功能介绍
4 我的看板 当前区域为可视化应用中心中数据看板的展示页面，当可视化工作台中的数据看板发布后，此处即展示已发布的数据看板。可视化演播厅 序号 区域名称 说明 1 工作空间 当前区域为可视化演播厅中工作空间的管理部分，通过切换工作空间...
Hive数据源
再通过Hive JDBC客户端执行LOAD DATA SQL语句，加载HDFS文件中的数据至Hive表。Hive Writer底层的逻辑和HDFS Writer插件一致，您可以在Hive Writer插件参数中配置HDFS Writer相关的参数，配置的参数会透传给HDFS Writer插件。支持的版本 ...
为RAM账号授权
为确保RAM用户能正常使用CDP企业数据云控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问控制。...
管理样本数据集
实例中不能存在与数据集同名的数据库 adb_sampledata_tpch，如果存在同名数据库，会导致数据集加载失败。数据集加载耗时约6~8分钟，数据集加载期间可能会影响实例的其它操作，例如新增节点、节点规格变配等。新建实例加载样本数据集 登录 ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
多接入方式构建企业级混合云
互联互通 通过以上接入方式，将云下各IDC接入到云企业网中：北京、上海IDC通过专线BGP上云，VBR加载到云企业网中。杭州IDC通过VPN网关上云，挂载VPN网关的VPC加载到云企业网中。广州IDC通过智能接入网关上云，智能接入网关关联的CCN加载到...
多接入方式构建企业级混合云
互联互通 通过以上接入方式，将云下各IDC接入到云企业网中：北京、上海IDC通过专线BGP上云，VBR加载到云企业网中。杭州IDC通过VPN网关上云，挂载VPN网关的VPC加载到云企业网中。广州IDC通过智能接入网关上云，智能接入网关关联的CCN加载到...
旧版控制台使用说明
云企业网可以帮助您在专有网络VPC（Virtual Private Cloud）之间、VPC与本地数据中心之间搭建私网通信通道，实现同地域或跨地域网络互通。本文为您介绍如何在旧版控制台使用云企业网，并介绍旧版控制台的计费规则和使用限制。切换旧版控制...
健康检查
在将边界路由器实例加载至云企业网实例后，您可以通过云企业网的健康检查功能监测物理专线的连通性。背景信息 健康检查会以一定的时间间隔向本地数据中心发送多个连续的探测报文，如果收到回复报文，则证明物理专线连接正常。如果在多个...
访问云服务
边界路由器VBR（Virtual Border Router）实例、云连接网CCN（Cloud Connect Network）实例加载至云企业网后，其关联的本地网络可通过云企业网访问部署在阿里云上的云服务。背景信息 云服务指使用阿里云云服务地址段100.64.0.0/10提供服务的...
通过CEN实现本地IDC与DTS云服务互通
说明 在使用DTS跨地域同步场景中，比如自建数据库接入至阿里云的某一地域（如北京地域），需要通过DTS同步到杭州地域的 RDS MySQL，则需要在 服务VPC 中，指定杭州地域的1个VPC，并加载至云企业网实例中，以允许自建数据库通过该VPC访问DTS...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
配置同步任务
数据同步支持使用 copy from 将数据加载到表中，并且在遇到冲突时会使用新数据覆盖旧数据，建议您在遇到性能问题时再尝试使用该策略。冲突策略 当AnalyticDB for PostgreSQL数据源的加载策略选择 Copy模式 时，需要配置 冲突解决策略，包括...
Attu工具管理
说明 您可以通过单击 释放 来将已加载至内存中的Collection数据进行释放。虽然数据会保留在存储介质上，但在释放后将无法执行检索操作。您也可以通过单击 drop 来永久删除Collection及其数据，使其无法恢复使用。向量检索 通过向量检索功能...
MongoDB 5.0新特性概览
方法一：先dump整个集合，然后用新的分片键把数据库重新加载到一个新的集合中。由于这是一个需要离线处理的过程，因此您的应用程序在重新加载完成之前需要中断停服较长时间。例如：在一个三分片的集群上dump和重新加载一个10 TB以上的集合...
常见问题
在连接VPC的过程中，企业版转发路由器将在主备可用区的交换机中各创建一个弹性网卡ENI（Elastic Network Interface）（ENI将占用交换机下的一个IP地址），作为VPC实例与企业版转发路由器流量互通的接口。VPC实例的流量优先通过主可用区的...
- 产品推荐
- 这些文档可能帮助您