创建逻辑单元
核心业务和数据单元化拆分，拆分后分片均衡，单元内尽量自包含（调用封闭），拥有自己的数据，能完成所有业务。一个可用区可以有多个 RZone。GZone（Global Zone）：部署未按用户维度拆分的系统，被 RZone 依赖，提供不可拆分的数据和服务...
逻辑单元
配置灾备 灾备即容灾与备份结合的保障企业数据、业务高可用的方案之一。具体配置操作如下：登录控制台，在左侧导航栏单击 基础元数据>逻辑单元。在逻辑单元列表页，选择需要配置灾备信息的逻辑单元，单击 灾备信息 列中的 配置。在对话框中...
逻辑单元
核心业务和数据单元化拆分，拆分后分片均衡，单元内尽量自包含（调用封闭），拥有自己的数据，能完成所有业务。一个可用区可以有多个 RZone。GZone（Global Zone）：部署未按用户维度拆分的系统，被 RZone 依赖，提供不可拆分的数据和服务...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
数据服务入门
步骤三：新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可...
创建多物理表服务单元
服务单元字段 配置业务数据的字段映射到服务单元中的字段名称，您可以根据业务情况自定义字段名称。命名规则如下：只能包含字母、数字和下划线（_）。以字母开头。长度在4~64个字符范围内。服务单元字段描述 填写对服务单元字段简单的描述...
数据服务概述
新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。创建API 将数据表快速生成数据API 数据服务支持通过...
什么是全球多活数据库集群
整体架构 产品优势 多活架构 提供多写能力的多活数据库云服务，业务单元化改造后可以在多个地域同时进行数据读写操作，为各地域的用户提供就近访问的体验。配置灵活 产品化的全球多活数据库集群，开发和实施成本低。支持一键批量创建单元...
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据【双向】实时同步，保持每个单元都有全量数据，每个单元均可进行读写操作，读写流量会根据业务定制的分流...
解决方案与客户案例
整个部署架构分多个地域，每个地域称为一个单元，其中某个单元又承担着整个多活架构的逻辑中心角色，提供一些中心化的服务能力（如Sequence分发、强一致读服务等），每个单元内的业务架构分为接入层、服务层、数据层：接入层：业务流量通过...
应用场景
将深耦合业务优化为通过实时消息通知实现的异步耦合，让核心业务逻辑更简单可靠，具体调整为：该场景中，买家下单系统只要完成下单操作，就直接返回，底层通过DTS的数据订阅实时获取订单系统的变更数据，业务通过SDK订阅这些变更数据，并...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 请参见 补数据任务页面入口，进入 补数据任务 页面。在 补数据任务 页面，...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建补...
亿海蓝-航运大数据的可视化案例
不同于轨迹数据，航线数据业务性更强，需要更丰富的存储和查询方式。DLA Ganos 满足了整合分析多种时空数据的需求。航海业务相对复杂，需要对数据做一些自定义的运算。DLA Ganos内置Spark集群，提供定制处理数据的计算引擎，节省了单独购买...
受众与核心能力
本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备...让数据从采集到展现、从分析到驱动应用得以一站式解决，真正实现数据业务化、业务数据化。
大数据安全治理的难点
数据业务属性及重要程度如何？是否做了相应的分级分类？说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
数据模型架构规范
主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系...
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
什么是DataV-Card可视分析创作间
产品定义 DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
新建集群
当您面对业务扩展需要构建 云数据库ClickHouse 集群时，本文档为您提供了在 云数据库ClickHouse 控制台上新建集群的详细步骤，帮助您快速搭建起 云数据库ClickHouse 集群。前提条件 已注册阿里云账号。具体操作，请参见 注册阿里云账号。...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
交叉透视表
[{"value1":7789,"row1":"浙江省","row2":"杭州市","column1":"家具","column2":"桌子"},{"value1":2367,"row1":"浙江省","row2":"绍兴市","column1":"家具","column2":"桌子"}]当数据单元格选中时 数据单元格选中时返回并经过过滤器处理后...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
背景信息以及准备工作
创建的可视化应用能够发布分享，没有购买DataV产品的用户也可以访问到应用，作为您对外数据业务展示的窗口。本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。前提条件 使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作...
规范定义最佳实践
基于Dataphin建模理论和业务需求，明确并规范定义统计指标，以便设计出易于业务使用的数据仓库。背景信息 规范定义是指以维度建模作为理论基础，构建总线矩阵，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生指标。在您开始...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
规范定义最佳实践
基于Dataphin建模理论和业务需求，明确并规范定义统计指标，以便设计出易于业务使用的数据仓库。背景信息 规范定义是指以维度建模作为理论基础，构建总线矩阵，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生指标。在您开始...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
- 产品推荐
- 这些文档可能帮助您