数据脱敏
支持的存储类型包括：RDS表、PolarDB-X表、MaxCompute表、PolarDB表、OceanBase表和ADB-MySQL表。此参数选择 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表。源产品 是 选择包含脱敏数据的文件来源的产品名称。支持...
上传到OSS的文件存储类型为归档存储无法下载文件
问题原因 OSS文件上传时会继承Bucket的存储类型，因此上传到OSS的文件存储类型为归档存储的原因如下：Bucket的存储类型为标准存储，但是需要下载的文件为归档存储，则说明上传文件时的代码中设置的存储类型为归档存储。Bucket的存储类型为...
存储冗余概述
存储冗余类型 Bucket地域属性 存储类型 数据持久性 服务可用性 本地冗余存储 有地域属性Bucket 标准存储 99.999999999%（11个9）99.99%低频访问存储 99.00%归档存储 99.00%冷归档存储 99.00%深度冷归档存储 99.00%无地域属性Bucket 标准...
导入数据
导入数据的操作流程如下：确认数据文件的保存路径。数据文件的保存路径有两种选择：您可以将文件直接归档至MaxCompute客户端的 bin 目录中，上传路径为 文件名.后缀名；也可以将文件归档至其他路径下，例如D盘的test文件夹，上传路径为 D:\...
导入数据
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
将Excel的数据导入数据库
文件类型 选中导入数据的文件类型。此处选择 CSV。SQL脚本：安全协同模式下，默认仅放开INSERT和REPLACE命令类型。如需调整，可以由DBA或管理员在 安全规则>SQL变更>批量数据导入 中修改。CSV格式：文件中的分隔符必须为逗号。Excel格式：...
导出数据
待系统执行完成后，您可以在工单详情页下方单击 执行导出，选择导出 数据 的文件类型、字符集 等，并单击 确定执行。单击 下载导出文件，文件将下载至本地。导出整个数据库 支持导出整个数据库的表结构、数据、以及存储过程、函数、触发器...
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
配置FTP输出组件
文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 覆盖数据、追加数据 和 文件名冲突报错。说明如下：追加数据：直接向目标...
配置FTP输出组件
文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 覆盖数据、追加数据 和 文件名冲突报错。说明如下：追加数据：直接向目标...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
文件系统存储类型
本文介绍通用型NAS文件系统的存储类型。存储类型 通用型NAS文件系统提供了为实现低成本存储而设计的不同存储类型，分别为标准存储、低频存储和归档存储。标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据...
表数据格式
其中：DeltaFile：每次事务Commit写入（Update/Delete）的数据文件类型，会保存每行数据的中间历史状态，用于满足近实时增量读写需求。Clustering 合并操作也会生成DeltaFile，按照列式压缩存储。BaseFile：DeltaFile经过 COMPACTION 合并...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
E-MapReduce数据迁移
说明 当使用阿里云 文件存储 HDFS 版 替换E-MapReduce HDFS服务时，您可以选择使用高效云盘、SSD云盘或者本地盘作为Shuffle数据的临时本地存储。关于存储规划的更多信息，请参见 存储说明。已开通 文件存储 HDFS 版 服务，并创建文件系统...
polar_comp_redwood_date
当DATE在命令中显示为列的数据类型时，如果配置参数 polar_comp_redwood_date 设置为 true，则在表定义存储在数据库中时，它将转换为TIMESTAMP。因此，时间部分也将与日期一起存储在列中。这与Oracle的DATE数据类型是一致的。如果 polar_...
备份策略设置
数据备份策略 数据备份策略包括自动备份的频率，以及自动备份和手动备份产生的备份文件的存储位置和保留时长。参数名称 参数说明 数据备份频率 即自动备份的频率，可选择 常规备份（按备份周期）或 高频备份。常规备份（按备份周期）：自动...
创建及管理数据集
其中 选择数据存储 支持配置为 阿里云对象存储（OSS）、阿里云文件存储（通用型NAS）、阿里云文件存储（极速型NAS）、阿里云文件存储（CPFS）和 阿里云文件存储（智算CPFS），使用各个云产品创建数据集时的参数配置说明如下：阿里云对象...
数据类型
表格存储数据类型 Node.js SDK数据类型 描述 String string JavaScript语言中的基本数据类型 Integer int64 Node.js SDK封装的数据类型 Double number JavaScript语言中的基本数据类型 Boolean boolean JavaScript语言中的基本数据类型 ...
数据缓存
概述 File Cache通过缓存最近访问的远端存储系统（HDFS或对象存储）的数据文件，可加速后续访问相同数据的查询。在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 ...
通过外表导入至数仓版
compress_type 定义数据文件的压缩类型，CSV格式的文件目前仅支持Gzip压缩类型。skip_header_line_count 定义导入数据时需要在开头跳过的行数。CSV文件第一行为表头，若设置该参数为1，导入数据时可自动跳过第一行的表头。默认为0，即不跳...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
备份策略
归档备份的数据备份类型、备份文件保存地域和日志备份信息与一级备份保持一致。异地备份 默认关闭 您可根据实际业务需求选择是否开启异地备份。OceanBase V2.2.77 和 V3.x 版本支持单独设置异地备份策略，其他版本（如 V4.x）仅支持镜像...
使用在线迁移服务迁移数据
阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以轻松实现文件存储NAS之间的数据迁移。本文介绍如何通过在线迁移服务实现阿里云文件存储NAS之间的数据迁移。使用在线迁移服务，您只需在控制台填写源NAS和目标...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
ip4r
开销更低：PostgreSQL为支持存储IPv6数据而使用了变长数据类型，对明确需要存储IPv4数据的场景来说是不小的开销；ip4r 对单一地址数据将使用定长数据类型。数据类型 ip4r 提供了丰富的数据类型来支持存储、表示IPv4或IPv6数据：数据类型 ...
OSS小时数据
RetrievalData Integer 200 低频访问和归档存储类型数据取回。低频访问数据取回 访问低频访问类型文件产生的费用。按数据取回量计费。归档存储数据取回 解冻归档存储类型文件产生的费用。按解冻文件大小计费。RetrievalDataArchiveDirect ...
基础数据类型
AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1，存储字节数1比特位。取值 0 的逻辑意义为假。取值 1 的逻辑意义为真。一致。tinyint 微整数类型 取值范围-128~...
创建数据库
说明 创建实例时所选择的存储类型将决定您在创建数据库时所使用的存储类型，例如您在创建实例时选择的是 RDS MySQL，则您在创建数据库时存储类型即固定为 RDS for MySQL 不可变更。PolarDB-X 1.0 存储层 私有定制RDS 与计算层 PolarDB-X 1....
文件存储HDFS版
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
企业版产品系列
数据可靠性和一致性 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。产品架构 集群版 的架构图如下：支持的内核版本 集群版 目前支持 PolarDB MySQL版 5.6、5.7和8.0三个内核版本。适用...
公共规范
时间类型数据使用STRING类型（如果有特殊的格式要求，可以选择性使用DATETIME类型）。状态使用STRING类型。公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{...
数据类型转换
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户的数据类型转换。支持的转换类型 Oracle 数据库 OceanBase 数据库 Oracle 租户 描述 INTEGER NUMBER(38,0)INT NUMBER(38,0)SMALLINT NUMBER(38,0)BINARY_FLOAT BINARY...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足...
使用Go语言驱动
重要 获取查询结果时，接收字段数据的变量类型必须和表格存储中字段数据类型相匹配。关于数据类型映射的更多信息，请参见 数据类型映射。使用Query方法查询/设置SQL语句，此处以查询test_table表中pk1列、col1列和col2列的数据为例介绍，请...
- 产品推荐
- 这些文档可能帮助您