自动归档
费用 使用自动归档功能时，主要产生以下费用：归档层存储容量费用 与标准层数据使用备份仓库存储空间大小（重删压缩后数据）计费不同，归档层数据按照备份转归档时对应的备份源端数据大小进行计费。同一个数据源的不同备份恢复点转入归档层...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
CDM接口数据层设计规范
本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
数仓分层
CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度...
某历史养成类游戏开发公司实时计算和数据仓库方案
梳理业务数据，对数据进行分层存储在Lindorm SQL+Spark中：1）操作数据层：手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志；2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
修饰词
应用数据层 汇总数据层 您需要单击 高级配置，才可配置当前参数。集市/主题 当 数仓分层 配置为 应用数据层 时，用于选择修饰词所属的集市或主题。业务分类 当 数仓分层 配置为 汇总数据层 时，用于与数据域、数据集市建立关联关系。数据域...
公共规范
在调用可累加类指标计算时，CDM汇总层尽量优先调用已经产出的粗粒度汇总层，以避免大量汇总直接从海量的明细数据层计算。CDM明细层累计快照事实表优先调用CDM事务型事实表，以保持数据的一致性产出。避免应用层过度引用和依赖CDM层明细数据...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
概述
数据分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
创建逻辑模型：汇总表
汇总表通常挂载于汇总数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个派生指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，选择将汇总表挂载至其他数据层。创建数据分层，详情请参见 创建数仓...
作业开发入门概述
DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要...
确定需求
基于上述拆解，您还需要进一步思考并设计明细数据层的事实模型（原子指标中成交金额的数据来源）、公共可引用的维度模型（统计粒度的来源，且需要与成交金额所属事实模型有关联关系）和汇总数据层模型（原子指标、业务限定、统计周期的拆解...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
规划工作空间
资源倾斜：中晚期（例如5点~7点）的调度资源组、引擎计算资源、存储空间（应对数据膨胀）应用数据层（ADS）：按业务划分，针对各专项业务，建立独立工作空间。任务节点：SQL任务、数据集成任务。数据表：以满足业务场景为优先。空间成员：...
表管理
通常，您可基于数仓分层将表层级划分为如下层级：数据引入层ODS（Operational Data Store）公共维度层DIM（Dimension）明细数据层DWD（Data Warehouse Detail）汇总数据层DWS（Data Warehouse Summary）应用数据层ADS（Application Data ...
创建逻辑模型：应用表
应用表通常挂载于应用数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，选择将应用表挂载至其他数据层。创建数据分层，详情请参见 创建数仓分层...
复合指标
汇总数据层：用于承载公共层的复合指标。应用数据层：用于承载应用层的复合指标。已创建业务过程，或数据集市/主题域，用于确定复合指标所反映的特定场景或产品的数据类别。不同分层的复合指标其创建要求具体如下：复合指标（公共层）：需...
派生指标
您可根据需要选择创建汇总数据层或应用数据层的指标。派生指标的基本信息配置参考如下。参数 描述 数仓分层 用于选择创建的派生指标所属的分层。业务分类 用于确定派生指标所属的业务分类。业务分类可与数据域、数据集市建立关联关系。当 ...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
使用XIHE BSP SQL进行作业开发
本文介绍如何使用XIHE BSP SQL作业开发方式，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
热力层
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
功能特性
按时计费 数据传输费用 数据公网下载 MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。数据公网下载 数据传输独享资源 数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，...
使用SSMS迁移上云
说明 导出数据操作的更多信息，请参见 导出数据层应用程序。单击 下一步。选择需要导出的对象。在 导出设置 的 设置 页签中，选择 保存到本地磁盘。单击 浏览，选择保存路径和文件名。在 高级 页签中，选择需要导出的表。说明 若您需要选择...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
矢量散点层
矢量散点层是三维城市构建器的数据映射图层，支持独立的样式和数据配置，包括矢量散点层的几何、环境、图标和背景等样式配置。本文介绍矢量散点层配置项的含义。在场景编辑器左侧图层列表中，单击 矢量散点层 图层，进入配置面板配置 矢量...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
- 产品推荐
- 这些文档可能帮助您