概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
DMS数据可视化
背景信息 DMS是阿里云提供的图形化数据管理工具，可用于管理关系型数据库和NoSQL数据库，支持数据管理、SQL操作、数据方案（数据导入/导出、数据库克隆等）、性能与优化、安全审计等功能。您可以使用DMS实现易用的数据库管理，在线进行库、...
数据资产等级定义
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级...根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'created','language':'zh-CN',};
保险行业解决方案与案例
方案价值 该公司作为我国最大的保险公司之一，其主要业务系统完成国产化迁移工作，标志着保险业机构向基于自主可控技术的数字化转型迈出了重要一步，充分证明了国产化数据库能够满足金融级业务需求，项目实施形成工艺和组件，也具有重要的...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
如何对JSON类型进行高效分析
PolarDB MySQL版 本身是一个关系型数据库管理系统，其存储的数据通常是结构化数据，但也原生支持存储和查询半结构化数据，如XML和JSON格式数据。PolarDB IMCI也全面支持JSON数据类型及其列式函数，采用二进制JSON格式来存储半结构化数据，...
应用场景
阿里云提供了非常完善的BI体系，DTS可以帮助您将自建数据库实时同步至阿里云的BI存储系统（例如MaxCompute、分析型数据库或流计算等），助力您在阿里云上快速搭建满足自身业务的定制化BI系统。数据实时分析 传输方式：数据订阅 数据分析在...
数据建模：智能数据建模
如何打破部门或业务领域之间的信息孤岛是企业数据管理的一大难题。数据标准整合，统一灵活对接 同一数据不同描述，企业数据管理难、内容重复、结果不准确。如何制定统一的数据标准又不打破原有的系统架构，实现灵活对接上下游业务，是标准...
概述
业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，您可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。...
访问数据可视化功能
方式一：通过顶部菜单栏进入数据可视化 登录 数据管理DMS 5.0。进入数据可视化功能。旧版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。新版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
访问数据分析功能
通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 SQL窗口>SQL窗口。说明 若您搜索不...
逻辑结构说明
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域，是对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。项目 ...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
数据模型架构规范
主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
聚合支付：Ping+
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍Ping+如何通过 PolarDB-X 应对业务挑战。所属行业...
PolarDB-X适用场景
高负载低延时交易 场景描述 交易场景广泛存在于互联网业务中，交易系统是信息系统中最为核心的组件之一。业务连续性、事务一致性和系统安全性是交易系统正常运行的基础，长时间高负载低延时的运行是互联网时代交易系统的发展方向。产品能力...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
客户案例
客户诉求 在余额宝用户数持续增长，数据量也成倍增长的情况下，已经无法通过简单的Hadoop集群管理数据，同时业务端需要通过数据了解用户、分析行为进而对业务决策和用户行为进行精准预测。解决方案 天弘基金基于阿里云MaxCompute构建了企业...
亿海蓝-航运大数据的可视化案例
亿海蓝有17年AIS（船舶自动识别系统）数据积累，每日AIS数据增量约10亿。用户需要对历史年份数据进行分析，时间跨度大。业务实现技术复杂度高。业务涉及数据种类多，亿海蓝对这些业务数据使用了多种存储引擎。解决方案 DLA Ganos 引擎对...
配置跨库Spark SQL节点
操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据开发>任务编排。单击目标任务流名称，...
客户案例
优化结果 OceanBase 作为一个通用的分布式关系数据库系统，其提供了丰富的分区方式（HASH，RANGE，RANGE+HASH 等），并且提供在线的业务无感知的动态分区能力，集群扩容只需要 DBA 简单的增加存储节点，以及做一些简单的 DDL 操作即可，...
01新建模型目录
背景信息 STG：全称STAGE，结构与源数据保持一致的增量数据，主要用于汇聚业务系统源头数据。ODS：全称Operational Data Store，贴源层，主要负责采集业务系统并保存一定期限内的相关业务数据。DWD：全称Data Warehouse Detail，明细数据层...
冷热分层
海量结构化数据Delta Lake架构 针对结构化冷热分层的数据场景，阿里巴巴集团推出了海量结构化数据的Delta Lake架构。基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
深度解析Lindorm搜索索引（SearchIndex）特性
为了解决 写入的数据无法立即可查 的问题，Lindorm基于Lucene实现了一种索引实时可见的方案，通过精细化的数据结构设计和动态的内存管理机制，可以保证索引数据一旦写入成功后可以立即查询到，真正做到实时性。CQL API CQL是Cassandra的...
数仓构建流程
基本概念 在正式学习本教程之前，您需要了解以下基本概念：数据板块：数据板块定义了数据仓库的多种命名空间，是一种系统级的概念对象，是比主题域更高维度的业务划分方法，适用于庞大的业务系统。当数据的业务含义存在较大差异时，您可以...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
表设计规范
分区列虽不直接存储数据，但如同文件系统里的目录，可以方便您管理数据。例如，在计算时如果指定具体的分区，则计算过程中只需查询对应分区，从而减少计算输入量。分区表的分区列级数不能超过6级，即底层存储数据的目录层数不能超过6层。...
使用DMS进行数据归档
功能介绍 DMS目前支持用户对企业主要的生产日志，交易等业务数据进行灵活的数据归档。AnalyticDB PostgreSQL版 Serverless模式实例作为数据归档引擎具有以下优势：支持表级归档、自定义归档条件、归档过程数据映射和归档清理等主流归档能力...
文档修订记录
规则管理 2023.08.07 新增功能 数据分析 数据分析提供卡片和报告功能，您无需下载数据，即可快速完成数据可视化分析与报告创作，轻松打造个性化可视化作品，讲述数据故事、表达数据观点。增强分析（卡片和报告）2023.08.04 新增功能 数据...
什么是数据资源平台
基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据管理平台。依托数据资源平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可...
什么是MaxCompute
数据生态支持 MaxCompute与阿里云DataWorks深度结合，可通过DataWorks实现一站式数据开发分析治理，同时也支持其他多种数据开发分析场景：数据湖 数据集成 数据治理 三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供...
数据标准
业务域：对数据模型来源于哪些系统信息进行创建、管理。数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
- 产品推荐
- 这些文档可能帮助您