电子合同：深圳法大大网络科技有限公司
考虑过将历史数据统一抽取到大数据平台，但改造成本高，耗时长。解决方案 PolarDB 依靠计算与存储分离、分布式存储架构，能够很好地支撑大数据量的存储和高效查询。法大大通过数据传输服务DTS（Data Transmission Service）将存储在MySQL...
离线同步数据质量排查
每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取模式（包括数据过滤条件、表、分区、列等），使用JDBC或者对应数据源SDK最终将数据抽取出来。说明 数据实际读出效果和数据同步机制、源头数据是否变化、任务配置...
ClickHouse数据源
是 无 splitPk ClickHouse进行数据抽取时，如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。说明 当配置了splitPk时，fetchSize参数为必填项。否 无 ...
RestAPI（HTTP形式）数据源
sernr1"},{"SERNR":"sernr2"}]} 如果需要将DATA中的多行数据抽取为多条同步记录，则需要将 column 配置为"column":["SERNR"]，dataMode 配置为"dataMode":"multiData"，dataPath 配置为"dataPath":"DATA"以接口返回数据body如下举例，其中...
Salesforce数据源
Salesforce Reader进行数据抽取时，如果指定splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。splitPk支持datetime、int、long字段，不符合这3个数据类型时，任务报错...
8.0.1和8.0.2版功能对比
支持 支持 Readable Protobuf 针对存储在数据库中经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数PROTO_TO_JSON(blob_field)来读取数据，也可以使用JSON_EXTRACT()函数来抽取数据中的部分...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
PolarDB-X 2.0数据源
是 无 splitPk 使用PolarDB-X 2.0 Reader抽取数据，可通过 splitPk 字段进行数据分片，实现并发同步数据，提高同步效能。（推荐）splitPk 设置为表主键。通过表主键切分出的分片比较均匀，不容易出现数据热点。splitPk 仅支持整型数据切分...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
功能更新动态（2023年）
新增Salesforce数据源，支持通过离线集成抽取数据。OSS数据源支持配置目录，可支持账号只有目录级别数据权限的场景。支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式...
文档更新动态（2023年）
新增Salesforce数据源，支持通过离线集成抽取数据。OSS数据源支持配置目录，可支持账号只有目录级别数据权限的场景。支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式...
GBase8a数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
Vertica数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
Oracle数据源
增量数据同步的方式 Oracle Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
ApsaraDB For OceanBase数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
创建API数据源
支持 失败重跑，开启失败重跑后，可应对因网络抖动等原因造成的数据抽取失败，最大支持重跑2次，每次间隔1分钟。此时您可以在API数据源管理界面，看到您创建的数据源。您可以单击API数据源右侧的 图标编辑API数据源。说明 不支持编辑连接...
快速入门
创建入湖模板 创建入湖模板，可以定时或者手动的执行数据抽取任务，将数据源中指定的数据抽取到数据湖。当前入湖模板支持5种数据抽取方式，可以根据数据抽取的场景选择并创建入湖模板。入湖模板需要指定抽取数据的具体位置。指定RAM角色，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Spark概述
使用场景 离线ETL 离线ETL主要应用于数据仓库，对大规模的数据进行抽取（Extract）、转换（Transform）和加载（Load），其特点是数据量大，耗时较长，通常设置为定时任务执行。在线数据分析（OLAP）在线数据分析主要应用于BI（Business ...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
DMS作业调度
配置方法如下：选中 RDS数据抽取 任务右侧的圆点，拖动到 ADBPG数据加载 任务上，完成拖动后显示效果如下：单击页面下方的 任务流信息，打开 调度配置 下 开启调度 的开关。选择需要的作业调度周期，每个周期调度任务都会进行RDS侧数据的...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
Amazon S3数据源
当指定单个S3 Object时，Amazon S3 Reader目前只支持单线程进行数据抽取。当指定多个S3 Object时，Amazon S3 Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。当指定通配符时，Amazon S3 Reader尝试遍历出多个Object信息。...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
- 产品推荐
- 这些文档可能帮助您