应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

类型 说明 源库限制(PolarDB 1.0)带宽要求:源库所属的服务器需具备足够的出口带宽,否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需...

PolarDB PostgreSQL版间的迁移

是否限制全量迁移速率 全量迁移时会开启源库的多并发读取及目标库的多并发写入,这一行为可能用户的数据库造成一定的压力,如果不希望对数据影响,可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启源库的多...

备份数据库的影响

数据库备份DBS 对数据库执行备份时会造成一定影响,建议选择业务低峰期执行备份任务。备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 每张表数据进行切分,然后在数据库上执行SQL语句,多线程并行读取数据。在数据库所在服务器上...

JindoFS介绍和使用

JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算OSS的访问;提供块存储模式(Block),以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式(SDK...

概述

您可以将数据库中的表或单条SQL查询结果作为数据集,在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形图、饼图、双轴图等图形或组件展现出来,并这些图形或组件进行自由组合、布局,以某种分析思路业务进行直观呈现。...

存储加密

存量项目新开通存储加密,不会自动存量数据进行加密(不影响正常读写操作),如果需要存量数据加密,需要手工读出数据再写入。操作步骤 新建项目开通存储加密 方式一:在MaxCompute控制台上创建项目开通存储加密。进入 密钥管理服务...

数据脱敏

本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否原始数据影响?没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置,不会数据进行改动。是否支持脱敏图片类型的数据?不支持。

如何选择备份方式

增量备份原理 支持实时捕获数据库内存中的日志,实现实时增量备份,避免堆积数据,从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁,对数据库性能...

逻辑备份、物理备份与快照

增量备份 支持实时捕获数据库内存中的日志,实现实时增量备份,避免堆积数据,从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁,对数据库性能影响较...

字段安全级别

说明 设置安全级别后,使用数据影响如下:在SQL Console中查询数据时,无权限的中敏感、高敏感字段显示为星号(*)或者按自定义的方式显示。查询、导出、变更敏感数据时,需要单独申请中敏感、高敏感字段的权限。导出、变更数据时,...

调整字段安全级别

设置敏感等级的影响 设置敏感等级后,使用数据影响:SQL窗口中查询数据时,无权限的中敏感、高敏感字段显示为星号(*)或者按自定义的方式显示。查询、导出、变更数据时,需要单独申请中敏感、高敏感字段的权限。导出、变更数据时,...

Oracle逻辑备份

备份限速 有效降低备份对数据库性能影响。压缩存储 支持Oracle原生数据库压缩,以及LZ4压缩。流式备份 备份数据直接写到云存储,不在本地磁盘中转。安全加密 传输数据HTTPS加密,存储数据AES256加密。创建备份计划 具体操作,请参见 购买...

离线同步并发和限流之间的关系

同步速率:数据同步速率和任务期望最大并发数是比较强相关的参数,两者结合在一起可以保护数据来源和数据去向端的读写压力,以避免数据同步任务数据源带来较压力,影响数据源的稳定性。同步速率(不限流)是指按照用户配置的任务期望...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

Redis逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入):可通过数据库网关备份自建数据库,您需要提前为数据库实例配置数据库网关,并在此配置步骤选择目标 网关DG实例ID,配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...

自建数据库异地备份

本文介绍如何使用 数据库备份DBS 创建自建数据库的异地备份任务,实现异地容灾需求。本示例将位于杭州的自建MySQL数据库备份至华北2(北京)。本文也适用于其他数据库类型的自建库,例如自建Oracle、SQL Server数据库等,关于其他备份参数...

PostgreSQL逻辑备份

全量备份并行线程数上限 填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据库的影响。不同备份计划规格并行线程数上限不同,具体以控制台为准,更多信息,请参见 如何调节备份速度。在 ...

数据迁移操作指导

数据迁移可以帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程,帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...

离线同步任务调优

本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项,以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响,详情请参见:数据同步速度的影响...

结束数据迁移任务

对于需要停止或迁移失败(不再需要)的任务,您可以结束数据迁移任务,避免源数据库的数据覆盖写入至目标数据库中。前提条件 数据迁移任务处于 迁移中、已暂停、迁移失败 状态。影响 结束数据迁移任务后,数据迁移任务将处于 已完成 状态,...

识别任务说明

文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度,数据安全中心可以扫描的文件大小或表的字段大小做了限制,请您在进行敏感数据扫描前了解以下规则:结构化数据(RDS MySQL、RDS PostgreSQL、PolarDB等)、大数据...

DML无锁变更概览

DML无锁数据变更可以将单个SQL拆分成多个批次执行,能更好地满足业务方大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时,需要定期清除表...

拓展组件

逻辑控制 当前组件可以场景中的虚拟孪生对象添加各种逻辑控制,包括数据绑定、变量绑定、脚本和蓝图组件。数据绑定 单击 数据编辑器,打开数据编辑面板。单击 新增行,增加需要添加的参数字段。确认无误后,单击 保存。查看当前对象的...

业务切换流程

为最大化地减少数据迁移业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于 迁移中 或 已完成 状态,配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...

创建并管理数据

若您想在DataWorks操作您的数据库或数据仓库(例如,MaxCompute项目数据),需先在DataWorks的数据源管理页面,将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。例如,同步MaxCompute数据前,...

业务切换流程

为最大化地减少数据迁移业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于 迁移中 或 已完成 状态,配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...

全增量实时同步至Hologres

限流:考虑到速度过高可能对数据库造成过的压力从而影响生产,数据集成同时提供了限速选项,您可以通过限流控制同步速率,从而保护读取端数据库,避免抽取速度过,给数据库造成太的压力。限速最小配置为1MB/S,最高上限为30MB/s。离...

什么是DataWorks

推荐配置 推荐原因 功能:推荐购买 专业版,专业版满足企业专业数据仓库构建需求,覆盖数据开发、任务运维、数据地图、数据质量等绝部分功能。资源:推荐购买 独享数据集成资源组,以支持更好的同步体验,支持离线同步、实时同步、全...

MySQL分库分表同步至Hologres(方案2.0)

限流:考虑到速度过高可能对数据库造成过的压力从而影响生产,数据集成同时提供了限速选项,您可以通过限流控制同步速率,从而保护读取端数据库,避免抽取速度过,给数据库造成太的压力。限速最小配置为1MB/S,最高上限为30MB/s。离...

配置并管理实时同步任务

步骤六:高级参数配置 数据集成提供数据库最大连接数,并发度等配置的默认值,如果需要任务做精细化配置,达到自定义同步需求,您可参数值进行修改,例如通过最大连接数上限限制,避免当前同步方案对数据库造成过的压力从而影响生产...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

SQL结果集导出

警告 选中 跳过校验 后,DMS不会校验导出影响行数,如果数据量较可能正常的业务产生风险,请谨慎选择。相关人 否 设置的相关人员都可查看工单,并协同工作,非相关人员则不能查看工单(管理员、DBA除外)。导出SQL语句 是 填入可直接...

数据水印

警告 选中 跳过校验 后,DMS不会校验导出影响行数,如果数据量较可能正常的业务产生风险,请谨慎选择。相关人(可选)设置的相关人员都可查看工单,并协同工作,非相关人员则不能查看工单(管理员、DBA除外)。导出SQL语句(必选)填入...

数据资产等级定义

数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时,业务的影响程度划分数据的资产等级。通常,划分为5个性质的等级:毁灭性质:数据一旦出错,将会引起重大资产损失,面临重大收益损失等。标记为A1。全局性质:数据...

数据传输服务概述

说明 网络因素对数据传输服务上传下载速度的影响,正常情况下速度范围为1 MB/s~20 MB/s。如果上传数据速度太慢,可以考虑使用多线程上传方式。数据传输服务共享资源组说明 下表数据为不同区域下免费共享资源(单位:Slot)Project级最...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 云数据库 RDS 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用