ODS层设计规范

本文为您介绍ODS层设计规范。数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。数据加载与处理 通过一键实时同步至...

设计规范

降低计算成本 规范化的表设计可以帮助您优化数据的读取,从而减少计算过程中的冗余读写和计算,提升计算性能,降低计算成本。降低维护成本 规范化的表分层设计能够直接体现业务的特点。例如,在规范设计表的同时对数据通道中的数据采集...

CDM汇总层设计规范

本文为您介绍CDM汇总层设计规范。命名规范 命名规则:{project_name}.dws{业务缩写/pub}{数据域缩写}{数据粒度缩写}[{自定义表命名标签缩写}]{统计时间周期范围缩写}{刷新周期标识}{单分区增量全量标识}。命名说明:在默认情况下,离线计算...

CDM明细层设计规范

本文为您介绍CDM明细层的表、数据存储与生命周期管理和各种事实表的设计规范。表命名规范 命名规则:{project_name}.dwd{业务缩写/pub}{数据域缩写}{业务过程缩写}[{自定义表命名标签缩写}]{刷新周期标识}{单分区增量全量标识}。命名说明:...

CDM接口数据层设计规范

本文为您介绍CDM接口数据层设计规范。接口数据层将不同数据域的汇总数据预关联在一个物理表,开放给应用使用,以减少应用层多次重复JOIN的成本开销,CDM接口数据层更适用于实时计算。命名规则:{project_name}.dwi{业务 BU 缩写/pub}{数据...

CDM公共维度层设计规范

本文为您介绍CDM公共维度层设计规范设计准则 一致性维度规范 公共层的维度表中相同维度属性在不同物理表中的字段名称、数据类型、数据内容必须保持一致。除了以下情况:在不同的实际物理表中,如果由于维度角色的差异,需要使用其他的...

表结构设计规范

数据管理DMS 提供的表结构设计规范中的字段存在性保障功能,帮助您后续进行数据分析、数据清理等操作。本文介绍通过配置安全规则完成保障字段存在性的操作步骤。前提条件 系统角色为管理员、DBA。查看系统角色的具体方法,请参见 查看我的...

公共汇总粒度事实层(DWS)

CDM汇总层设计规范。建表示例 满足业务需求的DWS层建表语句如下。CREATE TABLE IF NOT EXISTS dws_asale_trd_byr_ord_1d(buyer_id BIGINT COMMENT '买家ID',buyer_nick STRING COMMENT '买家昵称',mord_prov STRING COMMENT '收货人省份',...

云数据库Redis开发运维规范

业务部署规范 Key设计规范 SDK使用规范 命令使用规范 运维管理规范 业务部署规范 重要程度 规范 说明★确定使用场景为 高速缓存 或 内存数据库。高速缓存:建议关闭 AOF 以降低开销,同时,由于数据可能会被淘汰,业务设计上避免强依赖缓存...

明细粒度事实层(DWD)

DWD层数据存储及生命周期管理规范请参见 CDM明细层设计规范。建表示例 本教程中充分使用了维度退化以提升查询效率,建表语句如下所示。CREATE TABLE IF NOT EXISTS dwd_asale_trd_itm_di(item_id BIGINT COMMENT '商品ID',item_title ...

数据引入层(ODS)

ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量规范请参见 ODS层设计规范。建表示例 为方便您使用,集中提供建表语句如下。更多建表信息,请参见 表操作。CREATE TABLE IF NOT EXISTS s_auction(id ...

设计阶段

设计主键和外键。设计字段注释:通过标注字段注释、枚举值来表明字段含义,如果枚举值过多,建议为枚举值创建维表。设计表分区:建议所有表都创建为分区表。设计数据生命周期。企业应根据自身实际情况来进行设置,也可以参考如下数值:数仓...

建立性能基准

说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时,您需要记录每张表的数据同步时间、占用存储大小以及查询性能的详细信息。如果您使用的是包年包月方式购买的MaxCompute项目资源,还需要记录购买数。测试项 ...

建立性能基准

说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时,您需要记录每张表的数据同步时间、占用存储大小以及查询性能的详细信息。如果您使用的是包年包月方式购买的MaxCompute项目资源,还需要记录购买数。测试项 ...

MaxCompute数据开发规范

表和视图相关规范 表设计规范 表(Table)和字段命名规范请参见 ODS层设计规范、CDM公共维度层设计规范、CDM明细层设计规范、CDM汇总层设计规范。表(Table)整体设计规范请参见 表设计规范。说明 建议通过DataWorks数据管理中的管理配置...

模型规范化检查

操作步骤 在模型设计区的下方可以看【模型规范】选项卡,点击【开始检查】按钮即可对模型的设计规范进行检查,【错误】、【警告】、【提示栏】中分别显示模型规范检查后不同严重程度的问题规范。点击【选项】按钮,可以展示出当前模型规范...

设计

什么是设计库 DataV基于用户搭建可视化大屏的标准链路,帮助用户快速检索可视化大屏所需要的模块单元,方便用户通过拖拉拽的方式,在标准的设计规范下,做出高质量设计水平的可视化大屏。那设计库和组件库有什么区别呢?组件通常包含了一套...

其他命名规范

中间层表命名规范要求,请参见 CDM明细层设计规范。脚本间可复用的中间表命名规范 因为所有表都是以分区表形式存在的,因此中间表不设置命名规范,全部以正式表方式处理。临时表命名规范 不同场景下临时表命名规范不同:测试、数据探查、...

2019年

数据模型架构规范、公共规范、ODS层设计规范、CDM公共维度层设计规范、CDM明细层设计规范、CDM汇总层设计规范、MaxCompute数据开发规范 2019-05-06 新增表设计指南。新指南 介绍表设计指南。表概述、表设计规范、表设计最佳实践、...

应用场景

本文为您介绍数据资源平台的应用场景。构建数据中台,行业领域模型快速沉淀 场景:快速构建数据仓库,有效...价值:数据标准一致:沉淀行业数据设计规范,保障数据质量。高效资产管理:快捷数据资产搜索,全360度资产盘点,高效管理数据资产。

新功能发布记录

v7.2 新增设计库功能 新功能:内置大量开箱即用的大屏模板、地图、数据面板、设计规范、素材等设计内容,用户可自由灵活组装成自己的业务大屏 由阿里云设计中心出品,首批上线晴山蓝、碧玺绿、云峰白三套官方设计套件 2023-03-20 设计库 v7...

离线数据加工卡点

关于SQL代码、表命名、生命周期、注释的其他规范,请参见 表设计规范 及 MaxCompute数据开发规范。任务发布卡点 为保证线上数据的准确性,每次变更都需要经过测试再发布到线上生产环境,且生产环境测试通过后才算发布成功。发布上线前的...

离线数据加工卡点校验

关于SQL代码、表命名、生命周期及注释的其他规范,请参见 表设计规范 及 MaxCompute数据开发规范。任务发布上线卡点校验 为保障线上数据的准确性,每次变更都需要经过测试再发布到线上生产环境,且生产环境测试通过后才算发布成功。发布...

数据质量保障原则

因此,您需要设计数仓的公共层以确保数据的一致性,详情请参见 CDM公共维度层设计规范。及时性 保障数据的及时产出才能体现数据的价值。例如,决策分析师通常希望当天就可以看到前一天的数据。若等待时间过长,数据失去了及时性的价值,...

数仓性能优化

表的其他优化技巧 建议您严格遵循 表设计规范。此外,您还可以利用下列技巧完成表的优化:中间表的利用:适用于数据量非常大,下游任务很多的表。拆表:适用于个别字段产出极慢的情况,您可以将字段拆分为单独的表。合表:随着数仓的发展,...

数仓性能优化

表的其他优化技巧 建议您严格遵循 表设计规范。此外,您还可以利用下列技巧完成表的优化:中间表的利用:适用于数据量非常大,下游任务很多的表。拆表:适用于个别字段产出极慢的情况,您可以将字段拆分为单独的表。合表:随着数仓的发展,...

金融行业系统设计与咨询服务

对核心集成场景进行核心API设计 A/S/C/I R/I DevOps规范设计 结合当前DevOps现状,识别优化空间,在分支策略,自动化部署,持续集成等层面形成建议意见 A/S/C/I R/I 测试规范设计 根据现状及实际资源情况设计测试策略,制定测试规范指导...

需求分析

字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三:数据流与工作流设计 根据规范设计表名:参考规范设计表名。本案例设计5张表。表命名规范详情请参见:ODS层设计...

需求分析

字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 步骤三:数据流与工作流设计 根据规范设计表名:参考规范设计表名。本案例设计5张表。表命名规范详情请参见:ODS层设计...

快速入门

设计测试用例 在用例库中首先需要设计测试用例的目录结构,目录一般体现为产品/子产品/模块/功能/场景这些概念,具体由测试团队的设计规范决定。规划好目录以后,就可以开始测试用例的编写,云效·测试管理的用例结构采用比较经典的用例...

源为PolarDB-X的功能规范和约束说明

概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键,否则可能会造成数据不一致(造成目标库有重复数据)。因为 PolarDB分布式版 的GSI全局二级索引(Global Secondary ...

源为PolarDB-X的功能规范和约束说明

概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键,否则可能会造成数据不一致(造成目标库有重复数据)。因为 PolarDB分布式版 的GSI全局二级索引(Global Secondary ...

管控模式

可视化数据查询结果呈现 Y Y Y SQL格式化 Y Y Y SQL智能提示 Y Y Y 表结构管理 表结构对比 Y Y Y 表结构编辑 Y Y Y 表结构同步 Y Y Y 数据字典导出 5个 无限制 无限制 表结构设计规范 N N Y 表结构研发流程 N N 支持跨云账号、跨数据库和自...

Tair开发运维规范

业务部署规范 Key设计规范 SDK使用规范 命令使用规范 运维管理规范 业务部署规范 重要程度 规范 说明★确定使用场景为 高速缓存 或 内存数据库。高速缓存:建议关闭 AOF 以降低开销,同时,由于数据可能会被淘汰,业务设计上避免强依赖缓存...

结构设计

功能特性 在开发过程中自动检测企业需遵循的表结构研发规范,如不允许删除在生产环境中已使用的字段,保障研发自助变更表结构的同时满足企业的表结构设计规范。支持将已验证脚本一键发送至其他环境,保障环境之间相关表的结构一致性,适用...

发布解决方案落地页

元素 设计规范 背景图 颜色:要符合产品、服务特点,两侧用纯色向两端延伸,以满足在具体页面中可能出现的适配性要求,背景图不建议使用亮色系(如红色)。尺寸:3840×720 px。Alibaba Cloud X 合作伙伴logo区 位置:合作伙伴的logo位置在...

产品概述

提供官方设计套件,内置丰富的主题、模板、数据面板、设计规范、地图和标题&素材等。具备AI识图生成大屏、智能主题配色、一键美化等智能化功能。具备强大的地理数据展示能力,包含二三维平面地图、3D地球、三维城市场景构建等功能。低代码...

表结构发布流程化

结构设计功能可保障研发自助变更的同时满足企业的设计规范、不同环境之间相关表结构的一致性,同时大大提升生产发布的成功率。结构设计功能说明:功能 说明 保障生产发布的成功率 新的表结构在发布到生产环境前,会依据研发流程在逐个节点...

创建安全规则

希望对数据库的表结构设计规范进行管控。例如建表时一定要有主键,在已有表上新增字段不允许为空等。希望数据库不能执行例如删数据、删表等高危操作的语法,仅能执行数据查询(SELECT)语法。希望对数据库的某些操作进行差异化的审批流程...
共有151条 < 1 2 3 4 ... 151 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
商标服务 无影云电脑 云消息队列 RocketMQ 版 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用