应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

备份数据库的影响

对数据的影响数据库实例中读取数据对数据库性能有一定影响,但不会造成锁表的情况。从数据库磁盘中读取数据对数据库IO性能有一定影响,但不会造成锁表的情况。注意事项 建议选择业务低峰期执行备份任务。DBS提供备份速度调节功能...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

字段安全级别

说明 设置安全级别后,使用数据的影响如下:在SQL Console中查询数据时,无权限的中敏感、高敏感字段显示为星号(*)或者按自定义的方式显示。查询、导出、变更敏感数据时,需要单独申请中敏感、高敏感字段的权限。导出、变更数据时,...

调整字段安全级别

设置敏感等级的影响 设置敏感等级后,使用数据的影响:SQL窗口中查询数据时,无权限的中敏感、高敏感字段显示为星号(*)或者按自定义的方式显示。查询、导出、变更数据时,需要单独申请中敏感、高敏感字段的权限。导出、变更数据时,...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

Oracle逻辑备份

全量备份并行线程数上限 填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据的影响。不同备份计划规格并行线程数上限不同,具体以控制台为准,更多信息,请参见 如何调节备份速度。备份...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

Redis逻辑备份

全量备份并行线程数上限 填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据的影响。不同备份计划规格并行线程数上限不同,具体以控制台为准,更多信息,请参见 如何调节备份速度。在 ...

自建数据库异地备份

全量备份并行线程数上限 填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据的影响。不同备份计划规格并行线程数上限不同,具体以控制台为准,更多信息,请参见 如何调节备份速度。备份...

PostgreSQL逻辑备份

全量备份并行线程数上限 填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据的影响。不同备份计划规格并行线程数上限不同,具体以控制台为准,更多信息,请参见 如何调节备份速度。在 ...

存储加密

存量项目新开通存储加密,不会自动存量数据进行加密(不影响正常读写操作),如果需要存量数据加密,需要手工读出数据再写入。操作步骤 新建项目开通存储加密 方式一:在MaxCompute控制台上创建项目开通存储加密。进入 密钥管理服务...

大数据AI公共数据集分析

本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

使用DMS数据追踪进行恢复

DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新,并生成逆向回滚语句,追踪完的数据可批量生成回滚脚本,通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响数据量在10万以内时,您可使用该方法进行数据恢复...

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集,通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据,在DataStudio 数据开发 模块通过函数...

敏感数据保护

敏感数据数据集成加解密 如果在数据上云、数据交换等场景,需要传输中的数据进行加解密保护,则可以使用Dataphin的集成加解密能力,集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看,从而更好地保护...

数据质量保障原则

不同行业有不同的评估数据质量的标准。对于MaxCompute,数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...

数据集成概述

离线(批量)的数据通道通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,从而实现任意结构化、半结构化数据源之间数据传输。...

添加数据

DataV数据集支持多种数据源的接入,如数据库、excel表格文件等,通过对数据的结构化存储和元数据的汇集整理,提供高效实用的数据建模能力,可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...

Oracle同步至Tablestore

本实践以Oracle作为来源数据源,以Tablestore作为去向数据源,因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源,两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...

使用DataWorks

MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...

数据迁移操作指导

数据迁移可以帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程,帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

结束数据迁移任务

根据选择的迁移类型,选择执行下述步骤:警告 为尽可能地减少数据迁移业务的影响,建议执行业务切换并建立回退方案,详情请参见 业务切换流程。如果无需切换业务,可结束迁移任务。全量数据迁移 请勿手动结束迁移任务,否则可能导致数据...

JindoFS介绍和使用

JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算OSS的访问;提供块存储模式(Block),以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式(SDK...

创建并管理数据

若您想在DataWorks操作您的数据库或数据仓库(例如,MaxCompute项目数据),需先在DataWorks的数据源管理页面,将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。例如,同步MaxCompute数据前,...

创建Sap Table数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 HOST SAP实例所在的服务器的...

创建Sap Table数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 HOST SAP实例所在的服务器的...

创建OpenGauss数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...

创建OpenGauss数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...

创建DataHub数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 Endpoint DataHub的Endpoint,...

创建Redis数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 host Redis的连接地址。若您...

创建Salesforce数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 实例URL 访问Salesforce实例的...

创建Salesforce数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 实例URL 访问Salesforce实例的...

创建SAP HANA数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...

创建API数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据生产数据的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 URL地址 请填写API请求的URL...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 数据传输服务 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用