BigQuery数据源
no","table_name","table_status"]},"name":"Reader","category":"reader"} BigQuery Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。...
限制本地数据中心与云上的互通
各网络的公网IP地址如下表所示：网络 公网IP地址 本地数据中心1 111.XX.XX.111 本地数据中心2 222.XX.XX.222 负载均衡实例 33.XX.XX.33 如上图，您可以将网络ACL与ECS实例所属的交换机绑定，然后通过配置网络ACL规则实现对交换机中ECS流量...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
数据集成侧同步任务配置
同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
配置MySQL输入
已配置数据同步资源组与数据库的网络连通，详情请参见 配置资源组与网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL...
整库离线同步至OSS
同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的...
整库离线同步至Elasticsearch
编辑目标索引 同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击 Elasticsearch...
一键实时同步至DataHub
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
数据源概览
本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
使用公共资源组
网络连通方案 DataWorks资源组本质上为一组阿里云ECS实例，在运行数据集成、数据开发等任务时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。网络连通 公共资源组支持...
DAS Auto Scaling弹性能力
针对需要扩容实例带宽规格的数据库实例，DAS网络带宽自动变配服务可对实例带宽进行调整，扩缩到合适的网络带宽规格来解决实例带宽吞吐量的问题。在用户交互层面，DAS Auto Scaling主要采用消息通知的方式展示具体的进度以及任务状态，其中...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
配置网络
为了实现应用与数据服务之间的网络互通，在您开始调用API或Dataphin数据源前需要配置网络。本文为您介绍如何查看域名。查看域名 您可以关闭已开通的域名。您可以打开或关闭域名显示开关（图标），可以管控非超级管理员查看域名的权限。请...
Kafka单表实时入湖OSS（HUDI）
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。创建同步任务 进入 数据集成主站，单击 同步任务 进入同步任务页面，在页面中...
开通免费试用
数据库审计支持3个数据库实例7天免费试用的活动，本文介绍如何开通...在 启用 对话框，将VPC网络与需要审计的数据库资产设置为相同的VPC，保证网络互通。启用成功后，初始化创建需等待约5分钟。在试用期间，您可以使用数据库审计的所有功能。
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
网络质量分析
网络质量分析器应用提供网络质量分析报表，用于展示数据延迟、丢包率、探测次数、日活用户等变化趋势，帮助您了解App的网络质量情况。数据筛选条件 网络质量分析器应用会根据您设置的条件，展示对应的网络质量数据。例如趋势分析图表的筛选...
执行补数据并查看补数据实例（新版）
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏单击 运维助手>补数据，进入补数据页面。说明 如需对某个周期任务补数据，也可在 运维...
数仓规划概述
网络连通 为了实现数据源与Dataphin之间的网络互通，您需要将访问数据库的链接地址添加至Dataphin实例的沙箱白名单中。Dataphin的IP加入至RDS数据源的白名单中。详情请参见 通过客户端、命令行连接RDS MySQL实例。Dataphin不同区域的IP白...
网络分析
网络分析，用于查询指定条件下，移动应用网络请求的各项指标。名词解释 聚合数据为按照1分钟、5分钟、1小时、1天的维度展示某一时间段内数据。如聚合时间为1天，以1天为维度，展示最近7天的数据。说明 默认1分钟、5分钟，展示最近15分钟内...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
DescribeDataLimitSet-查询数据资产扫描授权列表
华东1（杭州）CheckStatus integer 数据安全中心与数据安全中心连接授权的实例、库、Bucket 数据间的连通性测试状态。2：连通性测试中。3：连通性测试通过。4：连通性测试未通过。3 Connector string 数据连接字符串。连接串 ...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
上海新能源汽车车辆基础数据
客户简介 上海市新能源汽车公共数据采集与监测研究中心（以下简称“数据中心”）是2014年底由上海市社会团体管理局批准注册成立，由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的...
产品计费
升级说明 如果已购买的数据安全中心版本、数据库实例数、OSS存储容量或日志存储容量无法满足需求，您可以通过升级来扩充相应的数据安全中心版本和配置。登录 数据安全中心控制台。在 工作台 页面，单击 立即升级。在 变配 页面，选择需要...
数据传输作业：数据集成
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通。实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
连通性检测
本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性，不提供Ping的ICMP协议，请不要使用Ping来访问，判断是否连通云数据库HBase，请使用Telnet。平台提供了公网访问及内网访问，...
管理网络配置
这些参数将用于工作空间下的机器与工作空间所选的外部集群、工作空间所添加的数据库之间的网络连通。参数 说明 专有网络 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通专有网络，需与后续添加使用的EMR集群、数据库专有网络...
连接本地IDC
当您需要将本地数据中心的资源扩展到云上专有网络VPC时，您可以通过阿里云的VPN网关、高速通道物理专线或智能接入网关等多款网络产品，帮助您构建一个安全可靠的混合云环境。概述 您可以在本地数据中心和阿里云专有网络间建立私网通信，...
- 产品推荐
- 这些文档可能帮助您