备份大小
与数据大小的关系 备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份...
OSS数据安全防护最佳实践
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
应用评估
架构列表：ADAM通过数据库与应用的关系，结合智能算法，将整体架构做了分组。迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
使用流程
ADAM（数据库与应用迁移）使用主要分为数据库评估，数据改造迁移，应用评估改造三个流程。整体迁移流程简介 数据库评估：帮助用户了解源库现状、提供目标库的选型建议，根据评估结果为用户迁移到目标库提供可行性参考。数据改造迁移：帮助...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
建模空间
模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后，模型设计师在进行模型（汇总表、维度表、明细表、应用表）发布时，可以选择将模型物化到被关联的某一个研发空间，后续数据开发工程师即可在对应的工作空间进行数据开发...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
手动修正数据
本文将为您介绍如何在手动修正数据页面，对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果，在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正，手动修正数据的使用逻辑如下图所...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
概述
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
查看数据风险（旧版）
数据风险页面通过手工打标、风险规则、AI算法等多种方式，识别数据的潜在风险，并支持备注人工审计的结果。该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 租户管理员已授权开通数据保护伞，详情请参见 数据保护伞...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
敏感数据概况
您在配置规则后，数据发现页面可以帮助您有效识别工作空间内的敏感数据。前提条件 阿里云主账号已授权阿里云主账号开通数据保护伞，详情请参见 数据保护伞概述。背景信息 您可以在完成敏感数据规则配置的第二天，查看数据分布情况。说明 ...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
应用场景
多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云...
应用场景
多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
- 产品推荐
- 这些文档可能帮助您