数据服务系统配置

API缓存数据存储位置 在 API缓存数据存储位置 区域,单击 修改 按钮,支持指定API缓存数据的存储位置。Dataphin系统的redis:将缓存数据存储到系统公共的Redis中,将与其他模块共享存储空间,适用于缓存数据量较小的场景。应用内存:缓存...

AUTO模式核心特性及典型场景

提前3个月创建分区 Locality——按需定制数据存储位置 在AUTO模式数据库中提供多个维度的Locality属性,可以手动定制数据的存储位置。可以通过设定Database的Locality属性,指定Database的存储位置,例如:CREATE DATABASE db1 MODE='AUTO'...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta 数据湖存储位置 数据存储的OSS路径。格式为 oss:/名称>/目录名称>/。oss:/doc-test-01/dlf/配置任务信息 任务实例名称 设置入湖任务名称。OSS数据入湖格式转换Delta 最大资源并行度 DLF将启动Worker节点完成数据入湖,此配置项表示...

ActionTrail日志清洗

说明 根据业务需求,判断是否需要新建文件夹,将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作:开通DLA服务,请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码,请参见 重置数据库账号密码。步骤一:...

快速入门

数据湖构建(Data Lake Formation,DLF)产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源,当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表,指定表中数据存储位置和存储格式 详细操作请参见 元数据管理。

元数据管理

选择元数据表中数据存储位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列,指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库,点击右侧的删除...

入湖基础操作

数据湖存储位置数据存储的OSS路径,入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息:添加需要写入的分区信息。分区表达式:填写描述分区值的获取方式,比如 MySQL 中from_unixtime(gmt_create)。分区字段:填写分区字段名称...

IO加速

说明 RDS PostgreSQL是通过表空间来设置数据库对象的存储位置,以实现数据的冷热分离,因此我们使用表空间 rds_temp_tablespace 来抽象其背后的高速缓存介质。您可以在开启IO加速的实例中看到该表空间。而使用该表空间还需要您正确设置数据...

Kafka实时入湖

配置项包括目标数据库、目标数据表名称、存储格式、数据存储位置等。配置任务信息。配置项包括任务实例名称、RAM角色、最大资源使用量等。数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理,目前需要用户自定义...

方案背景

表格存储作为阿里云面向海量结构化数据提供Serverless表存储服务,具有海量数据存储、热点数据自动分裂、海量数据多维检索等功能,可以有效的地解决地理位置数据量大膨胀这一挑战。需求场景 某店铺搜索平台,提供了亿量级的店铺信息。用户...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

通过LOCALITY指定存储位置(DRDS模式)

PolarDB-X 支持通过LOCALITY关键字来指定数据库或单表的存储位置,以实现数据隔离或数据的均匀分布。本文介绍了DRDS模式数据库中使用LOCALITY的方法。本语法仅适用于DRDS模式数据库。前提条件 实例版本需为5.4.10或以上。关于如何查看实例...

CREATE DATABASE

数据库中分表的存储位置与该库的存储位置保持一致,以实现分表上的数据隔离。数据库创建成功后,您可以通过以下语句查看数据库的存储位置信息。SHOW CREATE DATABASE db1 MODE=drds;返回结果如下所示:+-+-+|DATABASE|CREATE DATABASE|+-+-...

概述

备份存放位置 数据备份:存放于阿里云提供的备份空间,不占用实例的存储空间,默认保留30天。日志备份:暂存于实例的存储空间,超过一定时间后(默认7小时)或者一定的空间后(实例存储空间的30%)会上传至阿里云提供的备份空间,默认保留7...

多元索引介绍

JSON数据格式 {"tags":[{"name":"car","score":0.78 },{"name":"tree","score":0.24 }]} 嵌套查询可以优美的解决多层逻辑关系的数据存储和查询,为复杂数据的建模提供了极大的便利性。去重 多元索引为查询结果提供了去重功能。去重功能可以...

一键创建OSS数据仓库

数据位置 建仓时,RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据数据在OSS中的详细存储地址。系统将自动拉取与DLA同地域的OSS Bucket。根据业务需要,选择Bucket和Object。使用一键建仓功能时,DLA需要有删除OSS数据的权限,...

数据归档概述

指定归档位置 无需关注数据存储的具体位置。需要指定OSS。不需要指定OSS。系统会自动在DBS中创建一个备份计划,将数据归档至OSS。表结构变化 表结构不变化。表结构不变化。说明 在云原生数据湖分析DLA中查询已归档数据,列的顺序可能会发生...

常见问题(FAQ)

Delta Lake以Parquet格式将数据存储在该位置。我可以直接将数据流式传输到Delta表中吗?是的,您可以使用结构化流直接将数据写入Delta表并从Delta表中读取。Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取?Delta不支持...

资产全景及目录概述

名词解释 元数据:是描述数据数据(Data About Data),主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域:为您展示数据架构部分已经创建好的主题域,便于您根据主题域更快捷的进行资产...

资产全景及目录概述

名词解释 元数据:是描述数据数据(Data About Data),主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域:为您展示数据架构部分已经创建好的主题域,便于您根据主题域更快捷的进行资产...

T+1多库合并建仓

数据位置 建仓时,RDS数据在OSS中的详细存储地址。系统将自动拉取与DLA同地域的OSS Bucket,单击选择位置,您可以根据业务需要,灵活选取Bucket和Object。使用多库合并建仓功能时,DLA需要有删除OSS数据的权限,以便进行从OSS数据到RDS数据...

数据类型

了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...

概述

数据备份 数据备份按照存储位置可分为一级备份和二级备份。备份存储位置 是否默认开启 保留时长 特点 查看备份大小 一级备份(数据备份)是 3~14天。一级备份采用ROW(Redirect-on-Write)快照的方式,直接保存在 PolarDB 分布式存储系统上...

时空分析

空间/时空数据(Spatial/Spatio-temporal Data,以下统称时空数据)是带有时间/空间位置信息的图形图像数据,用来表示事物的位置、形态、变化及大小分布等多维信息。早期业内按矢量/栅格二元分类方法来划分时空数据,并在3S等传统行业默默...

概述

存储类型为企业版或标准版PSL4、PSL5,数据备份按照存储位置可分为一级备份和二级备份。备份存储位置 是否默认开启 保留时长 特点 查看备份大小 一级备份(数据备份)是 3~14天。一级备份采用ROW(Redirect-on-Write)快照的方式,直接保存...

新功能发布记录

开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库(DM),包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类,便于管理人员、开发人员及运维人员...

归档存储服务等级协议

阿里云服务具备自动数据备份功能,备份数量详见相关技术文档,备份数据默认与源数据存储在同一个数据中心。用户无需指定数据自动备份数量及自动备份数据所存储的位置。2.5.2.阿里云的数据中心将遵守当地的相关法律法规,用户对此具有知情权...

概述

存储类型为企业版或标准版PSL4、PSL5,数据备份按照存储位置可分为一级备份和二级备份。备份存储位置 是否默认开启 保留时长 特点 查看备份大小 一级备份 是 3~14天。一级备份采用ROW(Redirect-on-Write)快照的方式,直接保存在 PolarDB ...

备份操作

备份存放位置 数据备份:存放于阿里云提供的备份空间,不占用实例的存储空间,默认保留30天。日志备份:暂存于实例的存储空间,超过一定时间后(默认7小时)或者一定的空间后(实例存储空间的30%)会上传至阿里云提供的备份空间,默认保留7...

创建Hologres内部表

当查询条件包含该分段列时,可快速找到相应数据对应的存储位置。适用于日志、流量等和时间强相关的数据。聚簇列:用于在指定列上建立聚簇索引。Hologres会在聚簇索引上对数据进行排序,加速索引列上range和filter查询。字典编码列:用于为...

概述

表(Table)数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性,且可以划分为多个Tablet。分片(Tablet)一个表可以被分到若干个分片中,称为Tablet。一个Tablet是指表上一段连续的Segment。一个特定的Tablet会被复制到多个...

备份策略设置

您可设置数据备份和Redo日志备份的备份策略,如数据自动备份的频率、数据备份文件保存时长、存储位置以及日志备份文件保存时长等。操作步骤 登录 PolarDB控制台。在控制台左上角,选择集群所在地域。找到目标集群,单击集群ID。在左侧导航...

创建数据脱敏场景

该场景下,数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏,脱敏完成后再将数据存储至指定数据库位置。权限控制 新增、编辑、删除脱敏场景:租户管理员、租户安全管理员 可选择的数据范围为租户下所有项目空间。空间管理员...

支持的数据脱敏算法

本文介绍支持的数据脱敏算法。算法分类 分类描述 算法描述 输入参数 适用类型和典型场景 哈希脱敏 不可逆算法。...支持常见的哈希算法,并支持偏移量(加盐值)...随机洗牌 打散重排/随机选择 敏感类型:设备敏感 位置敏感 适用场景:数据存储

模型介绍

数据存储方式分析 将物流平台作为Name进行存储,一个快递平台的数据属于同一类数据,对数据检索性能有一定的提升。将快递单号作为Tags存储,唯一确定一个快递。快递的其他元信息存储在Attributes中,避免Tags过长导致的性能问题,同时能够...

数据保护伞概述

EMR集群类型 元数据存储类型 数据存储类型:OSS 数据存储类型:OSS-HDFS 数据存储类型:HDFS 新版数据湖集群(DataLake)数据湖构建(DLF)RDS实例 MySQL 自定义集群(Custom)数据湖构建(DLF)RDS实例 MySQL 其他集群-说明 该功能目前仅...

元数据抽取

使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力,目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...

回收站列表

批量恢复表 您可以通过批量恢复表的方式,将误删除的表或期望恢复的多个数据表,恢复到原存储位置。在 回收站列表 页面,选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中,单击 批量恢复。当 状态 列下均显示 成功,则多个表恢复...

申请与创建

DBFS服务创建申请信息填写项说明:填写项 说明 地域 数据库文件存储实例所在的物理位置。可用区 数据库文件存储实例所在的可用区。版本类型 可选标准版或企业版,企业版DBFS支持共享挂载给多台ECS使用。实例规格 详见 实例规格说明。使用...

风险识别管理(旧版)

风险识别管理页面提供风险数据的规则配置,可以帮助您识别日常访问中的风险。同时,您可以通过启动数据风险的AI识别功能自动识别数据风险。识别后的风险数据统一在 数据风险 页面进行展示和审计操作,同时会在 数据访问 页面相应的数据后打...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 对象存储 数据库备份 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用