DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
整体流程和预估时间
当发生部分表的误操作时，可进行库表恢复，将误操作的某张表或某些表恢复到原...参数值调整后，对库表恢复基础版流程恢复速度影响较小，对优化版流程的恢复速度影响较大。以上测试数据仅供参考，实际恢复速度受底层机器机型、网络等因素影响。
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
必读：简单模式和标准模式的区别
场景示例：标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑、代码发布等流程。附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
备份对数据库的影响
数据库备份DBS 对数据库执行备份时会造成一定影响，建议选择业务低峰期执行备份任务。备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
流程管控
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
数据迁移操作指导
数据迁移可以帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程，帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
拓展组件
逻辑控制 当前组件可以对场景中的虚拟孪生对象添加各种逻辑控制，包括数据绑定、变量绑定、脚本和蓝图组件。数据绑定 单击 数据编辑器，打开数据编辑面板。单击 新增行，增加需要添加的参数字段。确认无误后，单击 保存。查看当前对象的...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
数据治理中心概述
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出存在不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件。您可基于该事件处理暴露的问题，以便数据开发流程可以正常执行。治理项检测。用于提交...
创建业务流程
重要 虚拟节点属于控制类型节点，在业务流程运行过程中，不会对数据产生任何影响，仅用于实现对下游节点的运维控制。虚拟节点在被其他节点依赖的情况下，如果被运维人员手动设置为运行失败，则下游未运行的节点将因此无法被触发运行。在运...
概览
无锁数据变更 数据变更时，将自动结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能减小对数据库性能、空间的影响。操作审计 DMS的操作日志中保存了所有数据查询和变更记录，您可随时查询数据库的...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
IoT数据自动化同步至云端解决方案
物联网、大数据和云计算作为当前第三次信息化浪潮的代表技术，将在未来形成广泛的影响。物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的...
权限管理与规范化数据开发
说明 关于简单模式与标准模式差异详情可参考文档：必读：简单模式和标准模式的区别 标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑代码发布等流程。实践操作流程 以下以一个具体的实践...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
安全规则
数据导出 是否对数据导出工单设置审批控制 若启用，您可以设置或调整导出数据的阈值，也可以根据不同的阈值设置审批流程及审批流程线。说明 当涉及包含或导出敏感数据时，您可设置忽略该行的安全规则审批流程或设置审批流程。权限申请 库表...
概述
如果使用自建开源大数据生态体系，例如Hive、Spark等，需要专门的大数据工程师来操作和运维，且操作流程也不像使用MySQL一样简单，成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
SQL结果集导出
警告 选中 跳过校验 后，DMS不会校验导出影响行数，如果数据量较大可能对正常的业务产生风险，请谨慎选择。相关人 否 设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句 是 填入可直接...
查看周期实例
说明 需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。修改优先级：实例任务的优先级源于实例所在基线的优先级，您可在此处根据需要重新设置，数值越大，优先级越高。强制重跑：可用于强制重跑当前节点，支持对运行成功、运行...
Iceberg概述
同时，由于Iceberg支持ACID，有效地隔离了Schema变更对现有读取任务的影响，从而使得您可以读取到结果一致的数据。实时机器学习 通常在机器学习场景中，需要花费大量的时间处理数据，例如，数据清洗、转换和提取特征等，还需要对历史数据和...
周期任务基本运维操作
说明 需要根据任务代码、任务血缘确认该操作是否会对数据造成影响。当发生大范围的数据质量问题时，您可以右键单击实例，选择 紧急操作>强制重跑或强制重跑下游。详情请参见 附录：强制重跑下游。管理周期任务 上线周期任务 任务需要先通过...
数据追踪
警告 日志量过大会影响数据库服务器的带宽，从而影响在线业务。动作：动作是满足 if 条件之后系统执行的行为，例如，禁止提交工单、选择工作流、允许执行和拒绝执行等，这些动作表达了安全规则的主要目的。动作全部以@act.开头，后接动作...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
实验介绍
数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置数据质量的监控规则，以...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
概述
只读实例：在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
快速体验
数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置数据质量的监控规则，以...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
- 产品推荐
- 这些文档可能帮助您