数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
零售电商数据建模
DataWorks智能数据建模产品内置了零售电子商务数据仓库行业模型模板，您可以一键导入模板，本文结合零售电子商务业务背景以及模型构建核心步骤来帮助您了解维度建模理论和智能数据建模产品。重要 DataWorks智能数据建模个人版6个月60元，...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
从Oracle迁移应用至阿里云PolarDB全流程指南
Apache Jmeter、阿里云PTS等）业务的接口和逻辑进行压力测试，保证在特定的目标库配置和参数配置等条件下可以支撑业务峰值的业务量 SQL性能优化：对压测过程中，遇到的性能低下的SQL语句以及存储过程等进行优化，甚者对数据库的参数进行...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
新功能发布记录
DMS支持的数据库 云数据库录入 他云/自建数据库录入 管控模式 增强E-R 新增 增强E-R可以清晰地展示出业务数据之间、数据库表和字段之间的关联、依赖和影响关系。增强E-R 01月 功能名称 变更类型 功能描述 相关文档 分类分级模板 升级 该...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
新功能发布记录
当存储即将出现溢出时，集群的存储空间可自动进行扩容，保障线上业务的稳定性，主要适用于业务数据量比较大，或者业务量波动较大且频繁的场景。设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
备份SQL Server数据
RDS SQL Server支持自动备份和手动备份两种方式，您可以通过设置备份策略调整RDS数据备份和日志备份的周期实现自动备份，或手动备份数据。备份功能说明 数据备份 备份方式 功能说明 物理备份 支持全量物理备份和增量物理备份，暂不支持逻辑...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）创建MySQL数据源 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）新增支持Hologres数据源，您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
分析业务过程
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
分析业务过程
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
数据加工过程卡点校验
如果该数据库表发生扩容或者迁移等，数据集成工具感知不到，可能导致数据抽取错漏，而一旦错漏，会影响下游所有依赖该表的应用，因此建议业务数据库也需要有库表变更通知。关注操作工具的人员。操作工具只是一种辅助手段，操作工具的人员才...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
分区表常见问题
如果业务数据和时间相关，建议使用时间范围分区，如果业务数据与地域和租户相关，可以使用List分区或者Hash分区，或者 LIST DEFAULT HASH 分区。如果一级分区数据过多，可以使用二级分区。具体请参考 分区选择策略。使用 PolarDB MySQL版 ...
概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。数据域面向业务分析，一个...
概述
行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；对于可解释算子（如算术运算、条件判断等），则需要定义 表达式 以及表达式之间的 关系。数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
数据模型
时间戳（Timestamp）Timestamp代表数据产生的时间点，可以写入时指定，也可由系统自动生成。量测值（Field）Field描述数据源的量测指标，通常随着时间不断变化，例如传感器设备包含温度、湿度等Field，Field列无需提前创建固定的Schema，...
补数据
为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况...
车联网数据存储处理方案
动态schema的能力可以很好的满足车联网不断变更的采集点需求 超强的弹性&水平扩展能力可以很好地满足车联网业务采集频率变更带来的数倍甚至数量级的流量突增 高压缩比、冷热分离，支持HDD/OSS等低速高密存储可以低成本满足车联网业务超长...
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
创建RocketMQ数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。配置数据源与Dataphin的连接参数。若您的数据源配置选择 生产+...
核心概念
例如，某企业的业务涉及零售和文娱，且业务数据相互独立，则零售和文娱就可以划分为两个数据板块。划分数据板块的规则如下：一个数据板块代表一种业务含义。例如，零售数据板块、文娱数据板块。同一个板块内的业务实体（业务对象或业务活动...
快速体验
任务运维 使用DataWorks的 运维中心，周期性调度数据同步、清洗加工任务流程，获得每日的最新业务数据，同时可以监控每日任务运行的状态。数据治理 使用DataWorks的数据地图、数据质量、数据保护伞等功能，实现查看管理元数据、监控数据...
一键诊断
若当前时间段内，百分之八十的数据点同比前3天同一时间的数据点，增长率超过百分之二十，则认为连接数同比升高，您需要关注是否有新的业务流量或异常连接等问题。查询响应时间检测 查询响应时间检测与集群连接数检测的逻辑相同。即当前时间...
创建逻辑模型：维度表
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
新零售：杭州数云信息技术有限公司
单机存储瓶颈，传统数据库单个实例只能存3T数据，单实例业务数据量大，维护成本高，代码配置复杂。高并发写诉求，对高并发状态下的写能力有较高要求。解决方案 PolarDB 在大促期间可以在20分钟内完成10TB级数据的集群升配，快速弹升IOPS的...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
AUTO模式核心特性及典型场景
TTL（Time To Live）——自动清理历史数据 某些业务场景下，业务数据增长的很快，并且业务数据的热度随着时间推移会有明显的降低。此时如果数据一直存储在 PolarDB-X 中，既会占用存储空间，也会降低正常业务查询的效率，此种场景很多业务...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
从自建Redis迁移至Tair实例
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
产品介绍
PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法，包括Oracle数据库用户常用的内置数据类型、内置存储过程语法、常用系统视图，重要特性DBLINK、分区表和分区索引等特性，配合ADAM智能评估工具助力企业智能存量Oracle数据库业务迁移...
恢复全量数据
按时间点：可以选择为日志备份保留时间内，最早的一个全量备份之后的任意时间点内的数据。如需查看或修改日志备份保留时间，请参见 自动备份。说明 只有开启了日志备份，才会显示 按时间点。产品类型 源实例为 基础系列 时，不展示此参数。...
- 产品推荐
- 这些文档可能帮助您