在GDB控制台清除实例数据
清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议您不要执行数据更新操作（执行数据更新操作，可能会导致更新的数据被清理）。操作步骤 登录 图数据库控制台。在页面左上角，选择实例所在地域。单击目标实例ID或目标...
外部数据
这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问。一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
功能概述
数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。被保护数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户被保护数据的安全。在面向终端用户的应用场景...
生命周期管理介绍
如果数据被转为低频的数据，被计算引擎访问时性能将会下降。请您结合自己业务情况，充分评估后，再进行规则配置。生命规则任务，开启调度执行时，每天晚上定时执行，在第二天早上8点前生效。手动执行的任务，执行完成后即生效。操作说明 ...
透明数据加密概述
透明：数据在使用过程中无感知，数据在写入磁盘时自动加密，在数据被读取时自动解密。数据加密：使用密钥管理服务（Key Management Service，简称KMS）提供的服务密钥或您上传至KMS的自定义密钥，对数据文件进行加密。说明 TDE加密使用的...
冷数据归档
含义是某条时序数据的时间戳如果满足下述条件，则该数据被视作冷数据。冷数据的判定标准如下：当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热...
数据变更最佳实践
写入报错时，需要做重试确保数据被写入，重试导致的数据重复可以通过表的主键来消除。更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO ...
产品概述
数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户敏感数据的安全。在面向终端用户的应用场景中，...
产品概述
数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户敏感数据的安全。在面向终端用户的应用场景中，...
MapReduce
Shuffle>分配Reduce：在Shuffle阶段后期，数据被发送到Reduce端。Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到...
敏感数据溯源
后续如果该数据被泄露，您可以通过数据溯源功能，提取泄露数据的数据水印，定位出可能会泄露数据的责任人。使用限制 DataWorks仅支持对小于200MB的CSV格式文件进行数据溯源。DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作...
概述
再如，数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户敏感数据的安全。例如，企业使用第三方...
查询备份数据
使用场景 数据被误删除或者更改，需要通过查询历史数据来找回业务数据。实例负载较大，需要一个可以按量并且供查询的临时实例，用于临时的查询和分析。业务需要能够对历史时刻的数据进行分析和统计。费用说明 当前该功能为公测阶段，免费...
功能简介
同时，数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL...
功能发布记录（2024年）
您在数据开发和数据分析中执行SQL语句查询数据时，若该数据被识别为敏感数据，平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示，加强企业数据安全管控。2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据...
OSS数据安全防护最佳实践
异常检测和审计 在云端OSS中存在海量数据的场景中，无法准确获知数据被谁使用，以及数据使用上是否存在异常行为或数据泄漏。DSC 通过智能化的检测模型，针对OSS中敏感数据的访问，实现异常行为检测和审计，同时为数据安全管理团队提供相关...
统一服务
同时，数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL...
功能简介
同时，数据被应用的使用情况评估也作为数据中台日常运营的重要指标项。提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL...
数据保护伞概述
敏感数据概况 敏感数据访问及导出情况 查看敏感数据血缘（公测）手动修正数据 数据水印溯源 若存在数据被泄露情况，可通过提取数据泄露文件中水印信息，帮助您定位到可能会泄露目标数据的责任人。敏感数据溯源 使用限制 版本限制 仅支持...
产品整体介绍
另外也支持随机分布策略，主要场景是当前表字段中无合适字段作为hash分布列（比如会引起各个节点数据倾斜），同时该表也不小（不适合复制策略），随机分布可以让该表数据被均匀摆放到各节点。在将表数据分布到各个存储节点后，在单个节点上...
数据膨胀诊断
AnalyticDB PostgreSQL版 数据库使用PostgreSQL多版本并发控制（MVCC）来管理并发事务，底层表的储存数据被划分成固定大小的Page，默认Page大小为32 KB。每个Page包含Header（数据头）、Item pointer array（指向内部数据的指针数组）、...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
基本概念
主键与索引 当栅格数据被分块为Tile之后，需要定义他们的组织方式从而方便创建数据索引。Tile在Lindorm（HBase）中以Key-Value（键值对）的形成进行存储。每个Tile的Key是由图层名、层级、时间（SpaceTimeKey）、行号、列号等属性构成。...
PolarDB MySQL版集群间的数据迁移
在将业务切换至目标库前，请务必先停止或释放该任务，避免该任务被自动恢复后目标库的数据被源库数据覆盖。迁移类型介绍 支持结构迁移、全量数据迁移和增量数据迁移，详细介绍请参见 基本概念。说明 同时使用这三种迁移类型可实现在应用...
收钱吧订单查询&搜索
每日新增数据量至少75GB，当前总数据量百TB级别，同时由于移动支付的特殊性，数据需要永久保存，存储成本高昂。解决方案 云数据库Lindorm全文索引方案，通过LTS实现Lindorm宽表引擎与Lindorm搜索引擎之间的数据实时同步，使业务轻松应对高...
设置数据保留策略
新创建的数据库默认的保留策略是 autogen，初始化的保留策略时长为0s，表示数据永久保存；分片时长默认为7天，您可以根据需求来修改存储策略。创建保留策略 登录 TSDB控制台。在页面左上角，选择目标地域。在 实例列表 页面，单击目标实例 ...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
通过样本库识别
说明 如果目标样本库已被数据识别规则引用，您可以在样本库列表查看该样本库关联的数据识别规则，并在数据识别规则的配置页面取消引用该样本库，取消引用后该样本库才能被删除。配置 数据识别规则，详情请参见 通过内置规则识别。
DataWorks产品安全能力介绍
离职人员权限转交：支持管理员通过配置转交策略或手工操作，将目标工作空间下各模块的实体（资源、函数等）在责任人被踢出空间或被删除时触发转交。登录地黑名单/登录入口黑名单：支持管理员定义可登录DataWorks的本地IP地址，支持禁用...
安全配置常见问题
问题类别 常见问题 数据安全 MaxCompute如何保证数据安全？MaxCompute的数据是否可靠？VPC IP白名单是否支持设置网段？项目安全 运行作业报错AllMachineInBlackList，如何解决？因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何...
pg_database
datfrozenxid xid 在此之前的所有事务ID在数据库中已经被替换为一个永久的（“冻结的”)事务ID。这用于跟踪数据库是否需要被清理，以便组织事务ID回环或者允许 pg_xact 被收缩。它是此数据库中所有表的 pg_class.relfrozenxid 值的最小值。...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
数据模型
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
pg_locks
如果一个永久 ID 被分配给事务（通常发生在事务改变数据库状态时），它也会持有一个在其永久事务 ID 上的排他锁直到它结束。当一个事务发现它需要等待另一个事务，它也会尝试获取其他事务 ID 上的共享锁（不管是虚拟还是永久 ID，视情况而...
pg_locks
如果一个永久ID被分配给事务（通常发生在事务改变数据库状态时），它也会持有一个在其永久事务ID上的排他锁直到它结束。当一个事务发现它需要等待另一个事务，它也会尝试获取其他事务ID上的共享锁（不管是虚拟还是永久ID，视情况而定）。这...
新建离线物理表
默认为 36500,即永久保留数据。若需配置存储周期至少为 1天。单击 确定。步骤二：引入或添加字段 在离线物理表开发页面，为离线物理表引入或添加字段。离线物理表字段支持引入和手动添加方式为离线物理表添加字段。各添加字段方式配置说明...
新建离线物理表
默认为 36500,即永久保留数据。若需配置存储周期至少为 1天。单击 确定。步骤二：引入或添加字段 在离线物理表开发页面，为离线物理表引入或添加字段。离线物理表字段支持引入和手动添加方式为离线物理表添加字段。各添加字段方式配置说明...
- 产品推荐
- 这些文档可能帮助您