独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
数据源权限管理
什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？哪些角色可以...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
独享调度资源组
说明 如果独享调度资源组的应用过程中，不涉及与数据源的交互，则不涉及独享调度资源组与数据源间的网络连通问题，独享调度资源组购买后即可直接使用，无需考虑网络的相关影响。独享调度资源组购买后，需绑定一个VPC网络，后续您可以根据...
独享数据集成资源组
功能介绍 独享数据集成资源组的功能亮点如下：支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理...在实例的 数据库代理 页面的 连接信息 区域，将鼠标悬停于 端口 右侧的图标，如下图所示，即可查看。
FAQ
使用shard系统 在一个shard里面，field value的数据类型不能不一样，但是在不同的shard，field value的数据类型可以不同。如果要更改field的数据类型，用户可以使用 SHOW SHARDS 查询来识别当前shard的 end_time。如果数据点的时间戳发生在...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
配置VPC数据源
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，...
产品概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来...
产品概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来...
产品概述
背景 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了不同...
冷热分层
通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据...
Spark SQL、Dataset和DataFrame基础操作
示例如下：示例1：Spark支持多种数据格式，本示例读取了JSON格式文件的数据，并输出为Parquet格式。val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从...
在EMR上使用Sqoop与数据库同步数据时的网络配置
如果您的E-MapReduce（EMR）集群需要和集群之外的数据库同步数据，确保网络是联通的。本文以RDS、ECS自建和云下私有数据库三种情况为例，分别介绍如何配置网络。云数据库RDS Sqoop是用map任务同步数据，可以在任意节点上运行，而Sqoop任务...
SmartData常见问题
JindoFS缓存模式和Block模式可以利用集群本地磁盘或内存来缓存数据，对于新写入的数据和重复读取的数据具有显著加速效果。在同样集群条件下，对于Spark或Hive分析计算，跟HDFS相比集群吞吐是相当的，甚至优于HDFS。JindoFS写性能如何？因为...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
更改网络类型
说明 您可以在实例的 数据库代理 页面判断当前开通的代理类型。更多信息，请参见 什么是数据库代理。网络类型 经典网络：实例之间不通过网络进行隔离，只能依靠实例自身的白名单策略来阻挡非法访问。专有网络（VPC）：一个VPC就是一个隔离...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
恢复SQL Server物理备份
更多详情，请参见 什么是专有网络。本地自建数据库 需手动搭建目标数据库环境。恢复速度可能会受限于网络条件。前提条件 已完成数据库备份。具体操作，请参见 SQL Server物理备份。已在数据库所在的服务器上添加备份网关。具体操作，请参见...
使用SDK示例代码消费订阅数据
持久化后的消费位点是什么格式的数据？消费位点在持久化处理后，将返回JSON格式的数据。其中，持久化后的消费位点的格式为Unix时间戳，您可以直接将其传回SDK进行使用。如下返回数据中，"timestamp"后的 1700709977 即为持久化后的消费位点...
使用SDK示例代码消费订阅数据
持久化后的消费位点是什么格式的数据？消费位点在持久化处理后，将返回JSON格式的数据。其中，持久化后的消费位点的格式为Unix时间戳，您可以直接将其传回SDK进行使用。如下返回数据中，"timestamp"后的 1700709977 即为持久化后的消费位点...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
DLF+EMR之统一权限最佳实践
相关概念说明 EMR：阿里云 E-MapReduce产品，详见 什么是E-MapReduce。DLF Catalog：DLF数据目录（DLF），DLF元数据体系的最上层实体，可以包括数据库，数据表等元数据信息。详见 数据目录。DLF 数据权限：DLF所提供的数据湖的数据权限体系...
什么是PolarDB MySQL企业版
PolarDB MySQL版 的企业版基于云原生架构、计算存储分离、软硬件一体化设计，为用户提供具备超高弹性和性能、高可用和高可靠保障、高性价比的数据库服务。产品架构 云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定...
常见问题
解决方案：您需要替换为VPC网络的Endpoint。常见原因5：有脏数据。在没有脏数据的情况下，数据以batch方式写入。但是遇到了脏数据，正在写入的batch就会失败，并回退到逐行写入，生成大量的data part，大幅度降低了写入速度。您可以参考...
基本概念
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
导入与导出
为什么使用INSERT OVERWRITE语句将AnalyticDB MySQL集群中的数据导出至MaxCompute外表时，数据没有被覆盖？为什么MaxCompute导入数据的量与AnalyticDB MySQL集群不一致?DTS同步数据至AnalyticDB MySQL集群时，若源库中存在AnalyticDB MySQL...
数据库代理常见问题
开通的数量越多，数据库代理可承担的数据库负载越高。代理个数和代理连接地址个数有关系吗？没有。每个RDS PostgreSQL实例在开通数据库代理后，都可以申请1~7个代理连接地址（原代理终端），每个代理连接地址都可以申请1个内网地址和1个外...
- 产品推荐
- 这些文档可能帮助您