外部数据

这种数据被称为外部数据。说明 这种用法不要和外键混淆,后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问。一个外部数据包装器是一个库,它可以与一个外部数据源通讯,并隐藏连接到数据源和从它获取数据的细节。...

功能简介

入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据计算引擎链路,使得空间数据被用于数仓建设、标签管理等...

空间数据(邀测中)

入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据计算引擎链路,使得空间数据被用于数仓建设、标签管理等...

透明数据加密概述

透明:数据在使用过程中无感知,数据在写入磁盘时自动加密,在数据被读取时自动解密。数据加密:使用密钥管理服务(Key Management Service,简称KMS)提供的服务密钥或您上传至KMS的自定义密钥,对数据文件进行加密。说明 TDE加密使用的...

数据变更最佳实践

写入报错时,需要做重试确保数据被写入,重试导致的数据重复可以通过表的主键来消除。更新数据 AnalyticDB MySQL版 提供多种数据更新方式,建议如下:数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列,可通过 REPLACE INTO ...

产品概述

全密态数据库如何保证密文数据还能被数据库处理?当数据需要被处理时,客户端通过远程证明确认服务端运行在受信环境、且其内运行的代码可信后,将密钥端到端直接传入受信环境。数据和密钥就在受信环境里被处理,外部无法进入窃取数据。应用...

产品概述

全密态数据库如何保证密文数据还能被数据库处理?当数据需要被处理时,客户端通过远程证明确认服务端运行在受信环境、且其内运行的代码可信后,将密钥端到端直接传入受信环境。数据和密钥就在受信环境里被处理,外部无法进入窃取数据。应用...

敏感数据溯源

后续如果该数据被泄露,您可以通过数据溯源功能,提取泄露数据的数据水印,定位出可能会泄露数据的责任人。使用限制 DataWorks仅支持对小于200MB的CSV格式文件进行数据溯源。DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作...

概述

再如,数据应用需要将数据库整体线下部署到客户线下环境,需要防止数据被客户运维非授权获取。敏感数据合规:该场景主要针对在不可信环境(如第三方平台)下提供的应用服务的安全防护,保证终端用户敏感数据的安全。例如,企业使用第三方...

查询备份数据

使用场景 数据被误删除或者更改,需要通过查询历史数据来找回业务数据。实例负载较大,需要一个可以按量并且供查询的临时实例,用于临时的查询和分析。业务需要能够对历史时刻的数据进行分析和统计。费用说明 当前该功能为公测阶段,免费...

功能简介

同时,数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求,完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表,可以是单表也可以是多表,请求后最终以SQL...

查看数据同步项目的详情

同步流量 源端增量变更数据被同步到目标端的流量吞吐,单位为 KB/s。平均写入时间 同步 OceanBase 数据库的数据至 DataHub、Kafka 时,统计的是平均写入时间。平均执行时间、平均提交时间 重要 仅同步 OceanBase 数据库 MySQL 租户的数据至...

OSS数据安全防护最佳实践

异常检测和审计 在云端OSS中存在海量数据的场景中,无法准确获知数据被谁使用,以及数据使用上是否存在异常行为或数据泄漏。DSC 通过智能化的检测模型,针对OSS中敏感数据的访问,实现异常行为检测和审计,同时为数据安全管理团队提供相关...

统一服务

同时,数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求,完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表,可以是单表也可以是多表,请求后最终以SQL...

功能简介

同时,数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求,完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表,可以是单表也可以是多表,请求后最终以SQL...

数据保护伞概述

敏感数据概况 敏感数据访问及导出情况 查看敏感数据血缘(公测)手动修正数据 数据水印溯源 若存在数据被泄露情况,可通过提取数据泄露文件中水印信息,帮助您定位到可能会泄露目标数据的责任人。敏感数据溯源 使用限制 版本限制 仅支持...

产品整体介绍

另外也支持随机分布策略,主要场景是当前表字段中无合适字段作为hash分布列(比如会引起各个节点数据倾斜),同时该表也不小(不适合复制策略),随机分布可以让该表数据被均匀摆放到各节点。在将表数据分布到各个存储节点后,在单个节点上...

基本概念

Oracle CDC:实时数据同步模式,对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据,变化的数据被保存在数据库的变化表中,通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog:实时数据同步模式,通过同步并解析记录所有...

数据膨胀诊断

AnalyticDB PostgreSQL版 数据库使用PostgreSQL多版本并发控制(MVCC)来管理并发事务,底层表的储存数据被划分成固定大小的Page,默认Page大小为32 KB。每个Page包含Header(数据头)、Item pointer array(指向内部数据的指针数组)、...

查看数据迁移项目的详情

迁移流量:源端增量变更数据被同步到目标端的流量吞吐,单位为 KB/s。平均执行时间:每条 SQL 执行时间的均值,单位为 ms。平均提交时间:事务提交时间的均值,单位为 ms。RPS:每秒处理记录数。全量校验 在全量数据迁移完成,增量数据迁移...

离线同步并发和限流之间的关系

脏数据限制能力用来控制任务在遇到脏数据时的行为,所谓脏数据是指数据条目在写入目标数据源过程中发生了异常,则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性,目前策略是写入失败的数据均被归类于脏数据。在一些数据...

权限管控与隔离

租户隔离 Dataphin支持租户的概念,不同租户之间的数据、任务、成员、权限是完全隔离的,只能...Dataphin支持给项目配置数据下载审批,支持自定义选择项目管理员或者安全管理员审批,需要审批后才能进行数据的下载,防止敏感数据被直接下载。

权限管控与隔离

租户隔离 Dataphin支持租户的概念,不同租户之间的数据、任务、成员、权限是完全隔离的,只能...Dataphin支持给项目配置数据下载审批,支持自定义选择项目管理员或者安全管理员审批,需要审批后才能进行数据的下载,防止敏感数据被直接下载。

基本概念

主键与索引 当栅格数据被分块为Tile之后,需要定义他们的组织方式从而方便创建数据索引。Tile在Lindorm(HBase)中以Key-Value(键值对)的形成进行存储。每个Tile的Key是由图层名、层级、时间(SpaceTimeKey)、行号、列号等属性构成。...

PolarDB MySQL版集群间的数据迁移

在将业务切换至目标库前,请务必先停止或释放该任务,避免该任务被自动恢复后目标库的数据被源库数据覆盖。迁移类型介绍 支持结构迁移、全量数据迁移和增量数据迁移,详细介绍请参见 基本概念。说明 同时使用这三种迁移类型可实现在应用...

添加 Oracle 数据源的白名单

因为 VPC 或数据库实例对应的 VPC 可能在 ECS 平台进行访问限制,而作为数据迁移或数据同步的数据源,需要被数据传输服务器 IP 访问。复制 VPC ID。实例类型为 VPC 内自建数据库 时,在 VPC 下拉列表中选择目标 VPC 后,单击右侧的复制图标...

添加 MySQL 数据源的白名单

因为 VPC 或数据库实例对应的 VPC 可能在 ECS 平台进行访问限制,而作为数据迁移或数据同步的数据源,需要被数据传输服务器 IP 访问。复制 VPC ID。实例类型为 VPC 内自建数据库 时,在 VPC 下拉列表中选择目标 VPC 后,单击右侧的复制图标...

同步 OceanBase 数据库的数据至 Kafka

例如,DDL 语句无法被数据传输识别,如果本项目存在三个 Topic,则该 DDL 语句被投递至这三个 Topic 的某个固定分区。DDL 语句投递至该表所属 Topic 下的某个固定分区。单击 预检查。在 预检查 环节,数据传输会检测和目标端 Kafka 实例的...

通过样本库识别

说明 如果目标样本库已被数据识别规则引用,您可以在样本库列表查看该样本库关联的数据识别规则,并在数据识别规则的配置页面取消引用该样本库,取消引用后该样本库才能被删除。配置 数据识别规则,详情请参见 通过内置规则识别。

配置数据识别规则

在进行下架操作前,请确认该敏感字段类型是否 数据脱敏规则 及 风险识别规则 引用,如果有需要先将 数据脱敏规则 置为失效,并取消 风险识别规则 中的引用。详情请参见 创建数据脱敏规则 和 风险识别管理(旧版)。单击 批量下架 按钮,...

在GDB控制台清除实例数据

清除数据大约耗时5s(数据量越多,耗时时间越长),在清除数据过程中建议您不要执行数据更新操作(执行数据更新操作,可能会导致更新的数据被清理)。操作步骤 登录 图数据库控制台。在页面左上角,选择实例所在地域。单击目标实例ID或目标...

功能概述

全密态数据库如何保证密文数据还能被数据库处理?当数据需要被处理时,客户端在确认服务端运行在受信环境且其内运行的代码可信后,将密钥端到端直接传入受信环境。数据和密钥就在受信环境里被处理,外部无法进入窃取数据。应用场景 全密态...

数据归档

含义是某条时序数据的时间戳如果满足下述条件,则该数据被视作冷数据。冷数据的判定标准如下:当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线:通过SQL语句在Database的创建或修改中设置冷热...

管理数据源标签

您可以在管理标签列表中查看数据引用的信息。新建数据源管理标签 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图指引,进入 管理标签 对话框。在 管理数据源标签 对话框,单击 新建标签 按钮创建标签,您可以对标签执行编辑和删除...

查询结果不符合预期的常见原因

查询条件中列名填写错误 表属性设置了TTL,查询时数据已过期 设置了Cell TTL,查询时数据已过期 删除请求的时间戳设置不合理 链路等问题导致数据写入后立刻被删除 表属性VERSIONS被设置为0导致数据被删除 表属性为IMMUTABLE的表有更新 常见...

管理数据源标签

您可以在管理标签列表中查看数据引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图指引,进入 管理标签 对话框。在 管理...

数据保护规则简介

在使用全密态功能之前,您需要配置数据保护规则,规则包括:指定目标数据列为保护数据、声明数据保护方法(例如加密、脱敏)、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...

备份集查询功能概览

背景信息 传统的备份数据查询有两种方式:将备份数据文件导入至数据库,再通过数据库操作对数据进行查询,但是这种方式耗费时间长,且可能会导致数据文件修改。通过 Hive 的方式直接对文件进行查询,但是这种方式对数据文件格式有严格的...

数据库管理

当TTL设置后,时序数据的时间戳距当前的时间差超过了TTL的时间,则这些数据视作过期数据,会时序引擎清除掉。重要 时序领域的数据的时间戳一般分成两种概念:事件时间:即时序数据对应的事件真实发生时的时间。时序数据元素说明 中...

限制说明

数据过期策略 和开源 Memcached 策略一致,采用 LRU 算法过期数据,但已过期数据不会立即删除回收空间,回收空间操作由后台程序定期执行。连接处理 云数据库 Memcache 版服务端不会主动关闭空闲的客户端连接。数据过期 Key 过期时间建议...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 Redis 版 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用