Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
元数据管理常见问题
mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后，修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL？通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，登录内置的MySQL。mysql-uroot-...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
PostgreSQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
新建数据库
操作步骤 新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台 支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击 新增数据库 进行创建。说明 当前版本的...
MariaDB逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
Redis逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
RDS MySQL或自建MySQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
自建数据库异地备份
本文介绍如何使用 数据库备份DBS 创建自建数据库的异地备份任务，实现异地容灾需求。本示例将位于杭州的自建MySQL数据库备份至华北2（北京）。本文也适用于其他数据库类型的自建库，例如自建Oracle、SQL Server数据库等，关于其他备份参数...
Security Zone功能
已完成 配置Hive集成Ranger 和 配置HDFS集成Ranger。使用限制 仅EMR-5.x系列版本，支持配置Security Zone功能。创建Security Zone管理员用户 本文示例需要新建admin_a和admin_b用户。访问Ranger WebUI，详情请参见 访问Ranger UI。在Ranger...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若目标MongoDB为分片集群架构实例，请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不...
云数据库MongoDB版（分片集群架构）间的双向同步
您需要根据业务需求，在源和目标 云数据库MongoDB版 实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer（源 云数据库MongoDB版 实例必须在增量同步期间开启Balancer）并进行预分片。更多信息，请参见 设置数据分片以充分利用...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
根据业务需要，在目标 云数据库MongoDB版 中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不均衡。说明 配置数据分...
配置ECI连接RDS
如果您的容器应用需要连接数据库（以RDS MySQL实例为例），您需要设置RDS白名单，并在创建ECI Pod时传入数据库连接信息。本文介绍在 ACK Serverless集群 中创建ECI Pod时，如何连接RDS。背景信息 阿里云关系型数据库RDS（Relational ...
负载均衡
在 基本信息 页面的 数据库代理企业通用版 或 数据库代理企业独享版 区域，单击 数据库代理服务配置。在 数据库代理服务配置 对话框中，根据业务需求为每个节点配置不同的权重。配置完成后，单击 确定。配置地址维度权重 登录 PolarDB控制...
Db2 for LUW迁移至PolarDB MySQL版
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 PolarDB MySQL版 集群。创建方法，请参见 购买按量付费集群 和 购买包年包月集群。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW...
OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库
数据传输支持的 Oracle 数据库版本为 10G/11G/12C/18C/19C，12C 及之后版本包含数据库容器（Container Database，CDB）和可插拔数据库（Pluggable Database，PDB）。数据传输不支持表中全部列均为 LOB 类型（BLOB/CLOB/NCLOB）的增量数据...
自建MySQL迁移至PolarDB MySQL版
本文以有公网IP的自建数据库为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。以下类型的自建数据库：有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关...
快速配置SSL加密
步骤二：下载CA证书 开启云端证书后，RDS PostgreSQL数据库提供数据库CA证书供您下载，当您通过客户端远程连接RDS PostgreSQL数据库时，使用数据库CA证书可以对数据库真伪进行校验。切换证书来源为 使用云端证书，单击 下载CA证书。解压...
EMR Hive数据整库离线同步至MaxCompute
详情请参见 配置Hive数据源。准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同...
EMR Hive数据整库离线同步至MaxCompute
详情请参见 配置Hive数据源。准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
PolarDB MySQL版逻辑备份
数据库备份DBS 可满足 PolarDB MySQL版 数据库的单表恢复、异地备份、长期归档等需求。本文介绍如何使用DBS实现 PolarDB MySQL版 数据库的自动备份。注意事项 如需进行增量备份，请确保 PolarDB MySQL版 已开启Binlog（默认未开启）。更多...
MySQL实例间的双向同步
目标库信息 选择已有的DMS数据库实例（可选，如未创建可忽略此处选择，直接在下方配置数据库信息即可）本示例无需选择，输入下方的数据库信息即可。数据库类型 选择 MySQL。接入方式 选择 云实例。实例地区 选择目标 RDS MySQL 实例所属...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
- 产品推荐
- 这些文档可能帮助您