应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
备份对数据库的影响
对数据库的影响 从数据库实例中读取数据，对数据库性能有一定影响，但不会造成锁表的情况。从数据库磁盘中读取数据，对数据库IO性能有一定影响，但不会造成锁表的情况。注意事项 建议选择业务低峰期执行备份任务。DBS提供备份速度调节功能...
字段安全级别
说明 设置安全级别后，对使用数据的影响如下：在SQL Console中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、导出、变更敏感数据时，需要单独申请中敏感、高敏感字段的权限。导出、变更数据时，...
调整字段安全级别
设置敏感等级的影响 设置敏感等级后，对使用数据的影响：SQL窗口中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、导出、变更数据时，需要单独申请中敏感、高敏感字段的权限。导出、变更数据时，...
Oracle逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
Redis逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。在 ...
自建数据库异地备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
PostgreSQL逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。在 ...
存储加密
存量项目新开通存储加密，不会自动对存量数据进行加密（不影响正常读写操作），如果需要对存量数据加密，需要手工读出数据再写入。操作步骤 新建项目开通存储加密 方式一：在MaxCompute控制台上创建项目开通存储加密。进入 密钥管理服务...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
类型 说明 源库限制（PolarDB 1.0）带宽要求：源库所属的服务器需具备足够的出口带宽，否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需...
DQL操作常见问题
说明 海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见 与其他SQL语法的差异。执行...
PolarDB PostgreSQL版间的迁移
是否限制全量迁移速率 全量迁移时会开启对源库的多并发读取及对目标库的多并发写入，这一行为可能对用户的数据库造成一定的压力，如果不希望对数据库影响太大，可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启对源库的多...
数据迁移操作指导
DTS在执行结构迁移时，会根据目标库支持的数据类型进行类型映射，您可以查阅并评估类型映射对业务的影响。功能特性 详情请参见 数据迁移。数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要...
数据传输服务概述
说明 网络因素对数据传输服务上传下载速度的影响较大，正常情况下速度范围为1 MB/s~20 MB/s。如果上传数据速度太慢，可以考虑使用多线程上传方式。数据传输服务共享资源组说明 下表数据为不同区域下免费共享资源（单位：Slot）Project级最...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
结束数据迁移任务
根据选择的迁移类型，选择执行下述步骤：警告 为尽可能地减少数据迁移对业务的影响，建议执行业务切换并建立回退方案，详情请参见 业务切换流程。如果无需切换业务，可结束迁移任务。全量数据迁移 请勿手动结束迁移任务，否则可能导致数据...
离线同步并发和限流之间的关系
可重跑的任务建议配置任务失败自动重跑，以降低偶发环境问题对任务的影响。数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
创建OpenGauss数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建OpenGauss数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建DataHub数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint DataHub的Endpoint，...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
创建Salesforce数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 实例URL 访问Salesforce实例的...
创建Salesforce数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 实例URL 访问Salesforce实例的...
创建SAP HANA数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Tablestore数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint 即实例访问地址。推荐...
创建API数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的URL...
创建API数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的URL...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
业务切换流程
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
创建Elasticsearch数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 ES URL Elasticsearch的连接...
- 产品推荐
- 这些文档可能帮助您