BigQuery数据源
配置BigQuery的网络连接 在DataWorks上进行数据同步前，您需要将BigQuery的网络与数据集成的独享资源组打通，使之通过内网地址进行访问。网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...
Amazon Redshift数据源
TIMESTAMP java.sql.Timestamp TIMESTAMPTZ SQL_TYPE_TIMESTAMP java.sql.Timestamp VARCHAR SQL_VARCHAR 字符串 数据同步前准备：配置Amazon Redshift的网络连接 在DataWorks上进行数据同步前，您需要将Amazon Redshift的网络与数据集成的...
跨账号连接Redis与ECS实例
使用云企业网连接 云企业网 帮助您在不同VPC间、VPC与本地数据中心之间搭建专有网络通信通道，通过自动路由分发及学习，提高网络的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通，帮助您打造一张具有企业级规模和通信能力的互联...
新增和使用独享数据集成资源组
使用独享资源时，您需进行网络配置，为独享资源绑定一个可与数据源连通的VPC，通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。重要 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络，其他规格的独享数据集成资源组最多支持...
跨阿里云主账号访问
选择已与数据源网络联通的资源组，单击 连通状态 列 测试连通性，若连通状态为 可连通 时，表示连通成功。相关文档 配置资源组与网络联通，详情请参见 配置资源组与网络连通。购买带宽包并创建跨地域连接，详情请参见 使用带宽包。跨地域...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
使用DataWorks
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
通过DataWorks导入数据
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 DRDS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...
通过向导模式配置离线同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发...
DataWorks on EMR Serverless StarRocks最佳实践
2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。搜索 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
通过脚本模式配置离线同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
离线同步任务调优
BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM异常。出现上述报错后，请参见：离线同步常见问题。附录：查看实际...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
独享资源组模式
重要 独享资源组需要绑定数据库所在的vpc，或者与数据库网络连通的vpc。如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定...
连接方式概述
OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...
通用参考：按量付费转包年包月
说明 切换数据集成任务使用的资源组时，请先确认切换后的资源组与数据库网络可连通。若资源组切换后由于网络问题导致任务失败，请参考 配置资源组与网络连通 对资源组进行网络配置。切换任务配置时的默认资源组 您需要进入数据开发界面，在...
DataStudio侧实时同步任务配置
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发 实时同步任务配置入口在数据开发模块，您需要前往数据开发进行创建。进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。数据源环境已准备完成：您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述...
配置并管理实时同步任务
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持...
离线同步任务运维
说明 修改资源组前，请确保待切换的资源组与数据源网络已经连通，避免由于资源组与数据源网络不通导致任务执行失败。操作环境 支持的切换操作 界面入口 切换生产环境资源组 批量切换 进入 运维中心>周期任务 界面设置。勾选需要修改资源组...
如何快速定位及解决数据库问题
通过堆栈信息来判断 应用与数据库之间通过TCP协议进行交互，如果数据库层出现瓶颈，则会产生应用将请求通过socket发送给了数据库，但是数据库不返回结果的情况，此时socket会阻塞在read方法上。因此我们可以通过应用当前的堆栈信息来判断...
2020年
ST_Intersects 2020年9月 新增ST_Contains函数，用于判断栅格数据与栅格数据，栅格数据与几何数据是否是包含关系。ST_Contains 2020年9月 新增ST_Within函数，用于判断网格数据与网格数据，网格数据与几何数据是否是被包含关系。ST_Within ...
时空引擎版本发布记录
性能优化 Geometry SQL Ganos_Geometry插件兼容性增强，支持与PostGIS插件共存，可先创建PostGIS插件，再创建Ganos_Geometry插件。增强 ST_AsHMT 函数，支持sum、min、max、avg等聚合函数功能。Raster SQL 增强 ST_MosaicFrom 函数，支持...
独享调度资源组
网络连通方案 独享调度资源组与其他资源组类似，本质上为一组阿里云ECS实例，在进行数据开发等任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...
独享数据集成资源组
网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
元数据采集
参数 描述 资源组名称 选择已与数据源网络连通的资源组。数据地图支持您选择如下3种资源组，您可根据需求选取：默认资源组 default。您自己的独享调度资源组。您自己的独享数据集成资源组。连通性测试 选择完资源组名称后，如果您想再次...
基本概念
术语 说明 高速通道（Express Connect）阿里云高速通道（Express Connect）帮助您在专有网络（VPC）与本地数据中心之间建立私网通信通道，提高网络拓扑的灵活性和跨网络通信的质量和安全性。专有网络（Virtual Private Cloud,VPC）专有网络...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
数据源白名单配置
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引，您可根据阿里云的产品名称查看对应操作...
创建MySQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
创建Hologres数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。操作步骤 在Dataphin首页，单击顶部菜单栏 管理...
创建PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
创建Microsoft SQL Server数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
- 产品推荐
- 这些文档可能帮助您