等保三级预检合规包
本文为您解读等保2.0的具体内容，以及等保...8.1.4.7 a）应采用密码技术保证重要数据在传输过程中的完整性，包括但不限于鉴别数据、重要业务数据、重要审计数据、重要配置数据、重要视频数据和重要个人信息等。CDN域名开启HTTPS加密 CDN域名...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
层次调用规范
CDM汇总层尽量优先调用已经产出的粗粒度汇总层，避免大量汇总层数据直接从海量的明细数据层中计算得出。CDM明细层累计快照事实表优先调用CDM事务型事实表，保持数据的一致性产出。有针对性地建设CDM公共汇总层，避免应用层过度引用和依赖...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
在GDB控制台清除实例数据
清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议您不要执行数据更新操作（执行数据更新操作，可能会导致更新的数据被清理）。操作步骤 登录 图数据库控制台。在页面左上角，选择实例所在地域。单击目标实例ID或目标...
计算节点变配
存储弹性模式实例V6.6.2.0及以上版本/V7.0.5.0及以上版本在增加计算节点过程中支持读写，而之前版本仅支持只读；在减少计算节点过程中，写入数据可能会受到影响。存储弹性模式实例减少计算节点时，请确保缩容后的实例规格能容纳当前实例...
确定需求
数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量...
确定需求
数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（度量）以及汇总的范围多大（粒度）。例如，类目是维度，金额是度量...
数据导入性能优化
通过JDBC使用程序导入数据调优 客户端优化 应用端攒批，多条批量导入 在通过JDBC使用程序导入数据过程中，为减少网络和链路上的开销，建议攒批导入。无特殊要求，请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...
数据导入性能优化
通过JDBC使用程序导入数据调优 客户端优化 应用端攒批，多条批量导入 在通过JDBC使用程序导入数据过程中，为减少网络和链路上的开销，建议攒批导入。无特殊要求，请避免单条导入。批量导入条数建议为2048条。如果单条数据量过大达到数百KB...
执行补数据并查看补数据实例（旧版）
在补数据过程中，会根据您选择的业务日期生成当时的任务实例，以便您可以回溯指定时间的数据。建议补数据的时间不要太长，以免出现任务需要等待资源的情况。并行 若对多个业务日期执行补数据时，可指定若干个分组并发执行本次补数据任务。...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
功能简介
字段标准设计 数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...
数据使用诊断
查看诊断结果 数据使用诊断 根据诊断相关安全问题的最佳实践，为您展示了系统诊断出的当前工作空间，在数据使用过程中存在的风险隐患。您可以根据诊断结果，识别风险类别、风险等级，查看风险详情，及时处理待优化项，保障数据使用过程的...
功能简介
字段标准设计 数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...
数据标准
字段标准设计 数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...
概述
以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析应用（如投资和财务分析）提供数据保护，保证用户数据在存储与计算过程中的安全，降低明文数据泄露风险。...
操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
通过一键建仓同步至数仓版
注意事项 数据同步过程中，若在源实例PolarDB MySQL中新增库，新增库数据不会自动同步，手动配置同步链路，请参见 手动配置。不要在数据同步过程中增加无主键表，将导致同步链路中断。同步链路中断7天后不再保证数据正确性，请及时处理链路...
通过一键建仓同步至数仓版
注意事项 数据同步过程中，若在源实例RDS MySQL中新增库，新增库数据不会自动同步，需要手动配置同步链路，请参见 手动配置。不要在数据同步过程中增加无主键表，将导致同步链路中断。同步链路中断7天后不再保证数据正确性，请及时处理链路...
配置ClickHouse输出组件
批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程中每一次写入数据的行数，默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
03创建数据元
通过配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据，本章节为您介绍如何新建数据元。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
Hudi概述
Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件系统更加的友好。近实时数据分析 Hudi支持多种数据分析引擎，包括Hive、Spark、Presto和Impala。Hudi作为一种文件格式，不需要依赖额外的服务进程，在...
配置ClickHouse输出组件
批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程中每一次写入数据的行数，默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步...
我是普通用户
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
数据扫描和识别
在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 控制台概览。DSC 对于非结构化数据源（OSS）的扫描机制是怎样的？DSC 对非结构化数据源中存储的内容进行扫描，根据扫描结果...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
- 产品推荐
- 这些文档可能帮助您