计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
受众与核心能力
从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下能力：数据集成：复杂网络环境、丰富数据源之间的数据...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
实时同步能力说明
复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
产品优势
DataWorks具有强大的基础能力，可以为您大幅...支持复杂网络环境、常见数据源的数据同步上云以及实时、历史数据的批量与增量同步。在数据源性能不受限情况下，让您的同步速度达到万兆。支持单用户千万级别的复杂任务调度，让数据加工更流畅。
独享数据集成资源组
功能介绍 独享数据集成资源组的功能亮点如下：支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据...
配置资源组与网络连通
背景信息 复杂网络环境下的数据源进行异构数据源间的数据同步，可选择使用 独享数据集成资源组，需要先进行网络打通。如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和资源组间的网络打通。本文重点关注通过独享数据集成...
DataWorks资源组概述
访问复杂环境的需求：当需要访问复杂网络环境下的数据库时，请选择包年包月独享数据集成资源组。关于网络解决方案详情请参见：配置资源组与网络连通。实时同步需求：当进行数据实时同步时，您需要使用独享数据集成资源组。自定义数据源资源...
Btree-GIST
GIST允许用户为新的数据类型自定义索引策略，常用于处理复杂数据类型（多维数据、地理信息系统数据）的索引需求，并提供高效的搜索性能。功能简介 Btree-GIST插件提供了GIST索引操作符类，为基础数据类型 ① 以及所有枚举类型实现了等同于B...
数据集成侧同步任务能力说明
功能概述 全增量同步任务支持的能力如下图所示：功能 描述 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的全增量同步任务来实现数据源与...
新增和使用独享数据集成资源组
注意事项 独享数据集成资源组支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，...
离线同步能力说明
复杂网络环境下的数据同步 离线同步支持云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
管理控制台功能概览
独享数据集成资源组：用于数据集成任务执行，支持复杂网络环境下的数据同步。独享数据服务资源组：用于数据服务API调用。各类型资源组使用场景 新增和使用独享调度资源组 新增和使用独享数据集成资源组 新增和使用独享数据服务资源组 选择...
复杂数据类型上传下载示例
本文为您介绍如何通过Tunnel SDK上传或下载复杂数据类型。MaxCompute支持ARRAY、MAP和STRUCT这3种复杂数据类型，具体用法请参见 数据类型版本说明。上传复杂类型数据 代码示例 RecordWriter recordWriter=uploadSession.openRecordWriter(0...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
计算引擎版本说明
1.4.1 功能优化 支持宽表引擎（数据源）复杂数据类型的数据读取。优化资源申请相关配置的生成逻辑。1.3.0 新特性 新增数据类型转化函数，支持将HBase编码的BINARY类型的数据解析为真实数据类型（例如INT、LONG等）。详细介绍，请参见 访问...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
1.0数据类型版本
MaxCompute 1.0数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本仅支持1.0数据类型。本文为您介绍1.0数据类型版本的设置方法、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为1.0数据类型版本...
OSS Foreign Table数据类型对照表
本文介绍ORC文件、Parquet文件和Avro文件与 AnalyticDB PostgreSQL版 的数据类型对照表。ORC文件数据类型对照表 ORC数据类型 AnalyticDB PostgreSQL版 数据类型 BOOLEAN bool SHORT int2 INT int4 ...不支持上表中未出现的Avro复杂数据类型。
2.0数据类型版本
MaxCompute的复杂数据类型最大Size建议不要超过1 MB，即复杂数据类型里存的数据大小不能超过1 MB，否则会造成计算过程OOM的错误。与其他数据类型版本的差异 DML语法行为差异 集合操作中的LIMIT语句行为不同。例如，对于 SELECT*FROM t1 ...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
数据洞察
该功能利用AI技术辅助数据分析，帮助您解析复杂数据，并为业务决策提供支持。权限说明 已拥有数据分析权限，查看角色权限列表请参见：数据分析预设角色权限列表。角色授权，授权操作请参见：添加空间成员并管理成员角色权限。前提条件 数据...
安装Agent
连通经典网络中的ECS和数据库审计系统VPC的具体操作，请参见 审计经典网络数据库实例。如果您要审计的数据库部署在线下IDC机房中，您需要先打通线下IDC机房和数据库审计系统所在VPC的网络连接。您可以通过阿里云高速通道服务打通线上线下的...
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时，面对跨多个工作空间的复杂数据体系，可以通过设计空间来共享一套数据建模工具，针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
无感数据集成（Zero-ETL）
方案优势 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。零成本：Zero-ETL链路不额外...
无感集成（Zero-ETL）
方案优势 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。零成本：Zero-ETL链路不额外...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
编辑数据源
如果数据复杂，则需要手动输入字段来完成数据映射。数据映射成功后，系统会自动显示 匹配成功。添加过滤器 您可以为数据源添加一个过滤器，使数据的展示更加清晰明了。详情请参见 组件过滤器使用说明。清除 数据过滤器，可隐藏过滤器功能。...
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
- 产品推荐
- 这些文档可能帮助您