功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
什么是文件存储CPFS
您可以手动或者通过自动Lazy-load能力，将OSS中的数据复制到CPFS中，实现通过POSIX文件接口高速访问OSS中的数据。在保持海量数据在OSS中低成本存储的同时，获得高性能文件访问能力。CPFS文件系统应用于AI训练、自动驾驶、基因计算、影视...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向...
统一服务
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
功能简介
非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务。支持发布OGC WMTS、WMS、WFS服务，TMS（MVT）矢量瓦片服务，S3M、3DTiles等标准的三维服务...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
新功能发布记录
2022-04-29 全部 快速入门（CPFS-NFS）CPFS-NFS客户端挂载文件系统 协议服务概述 管理协议服务 管理导出目录 数据流动 支持与OSS之间数据流动，实现不同源端的数据同步。2021-10-27 全部 管理Fileset 数据流动 文件存储CPFS 2.0 文件存储...
归档为CSV或ORC格式
归档分区表是对表的分区进行归档，归档后的表为混合分区表，归档后分区的数据文件保存在OSS上。执行完归档操作后，分区在PolarStore上占用的空间会自动释放。语法 归档为 CSV 格式的文件：ALTER TABLE table_name CHANGE PARTITION part_...
数据流动概述
数据流动任务报告保存在CPFS文件系统中，占用CPFS文件系统空间，最多可保存100万个。CPFS文件系统不支持与其他区域的OSS Bucket创建数据流动。数据流动对文件系统的限制 在数据流动关联的Fileset中，不可对非空目录执行重命名操作，否则报...
使用限制
数据流动任务报告保存在CPFS文件系统中，占用CPFS文件系统空间，最多可保存100万个。CPFS文件系统不支持与其他区域的OSS Bucket创建数据流动。数据流动对文件系统的限制 在数据流动关联的Fileset中，不可对非空目录执行重命名操作，否则报...
HTTP2连云HAL
参数说明 参数 数据类型 方向 说明 ptr const void*输入 写入数据指针 size uint32_t 输入 数据块字节数 count uint32_t 输入 数据块数量 stream void*输入 文件流 返回值说明 值 说明=count 成功!count 操作失败 HAL_Fseek 接口原型 int ...
导入数据
数据文件的保存路径有两种选择：您可以将文件直接归档至MaxCompute客户端的 bin 目录中，上传路径为 文件名.后缀名；也可以将文件归档至其他路径下，例如D盘的test文件夹，上传路径为 D:\test\文件名.后缀名。假设，本文中的示例数据文件 ...
CreateDataFlowTask-创建数据流动任务
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
DescribeDataFlowTasks-查询数据流动任务列表
Executing ReportPath string 数据流动任务报告在 CPFS 文件系统中保存的路径。CPFS 的任务报告会生成在该 CPFS 的.dataflow_report 目录中。CPFS 智算版会返回一个 oss 下载链接，可以通过链接下载任务报告。path_in_cpfs/reportfile.cvs ...
入门概述
通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS（NFS协议）备份 ...
Tunnel操作
数据文件的保存路径有两种选择：您可以将文件直接下载至MaxCompute客户端的 bin 目录中，此时 path 需要设置为 文件名.后缀名；也可以将文件下载至其他路径下，例如D盘的test文件夹，path 需要设置为 D:\test\文件名.后缀名。使用示例 示例...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
导入概述
Stream Load适用于导入本地文件，或通过程序导入数据流中的数据，详细信息请参见 Stream Load。同步导入 Routine Load Routine Load（例行导入）提供了一种自动从指定数据源进行数据导入的功能。您可以通过MySQL协议提交例行导入作业，生成...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
设置列索引的排序键
遍历完成后，对合并文件按段两两排序，并将排序后的数据保存在临时文件中，随后将合并文件与临时文件进行切换；重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
Stream Load
Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据，支持的数据格式包括：CSV（文本）、JSON、PARQUET和ORC。创建导入 Stream Load通过HTTP协议提交和传输数据，这里通过 curl 命令展示如何提交导入。用户也可以通过其他...
Stream Load
适用场景 Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据。说明 本文部分内容来源于Apache Doris，详情请参见 Stream load。基本原理 下面为您展示了Stream Load的主要流程，省略了部分导入细节。1A.User submit load to ...
备份策略设置
您可设置数据备份和Redo日志备份的备份策略，如数据自动备份的频率、数据备份文件保存时长、存储位置以及日志备份文件保存时长等。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航...
产品规格
本文列举了在相同文件系统容量下使用不同客户端访问文件系统时，100 MB/s/TiB基线、200 MB/s/TiB基线、400 MB/s/TiB基线的文件系统性能指标、适用的高级功能、数据流动性能等，您可以根据业务需求选择合适的CPFS存储规格。文件系统实例性能...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据...重要 DSC 仅对数据进行敏感数据分级、打标和敏感数据检测，不会对您的数据文件进行保存。
备份策略设置
您可设置数据备份和Redo日志备份的备份策略，如数据自动备份的频率、数据备份文件保存时长、存储位置以及日志备份文件保存时长等。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航...
备份设置
您可设置数据备份和Redo物理日志备份的备份策略，如备份方式，数据备份文件保存时长、存储位置，日志备份文件保存时长等。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏中，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
Oracle 数据库的归档文件保存 2 天以上，否则由于某个时间段归档量陡增等情况，准备恢复时没有了归档文件，将无法恢复。对于 OceanBase 数据库 V4.x，强烈建议您开启归档日志。开启归档日志后，如果 Clog 被回收，数据传输仍然可以通过消费...
敏感数据溯源
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
Data Exchange数据集用于数据标注
点击提交，数据应用功能会保存manifest标注数据文件到指定位置，并创建PAI-iTAG数据集，创建成功后跳转到PAI-iTAG的数据集管理页面。说明 PAI-iTag当前支持图像类（jpg/cur/webp/png/svg/gif/bmp/jpeg/ico/web）、视频类（mp4）、音频类...
API概览
数据流动 API 标题 API概述 CreateDataFlow 创建数据流动 创建一个CPFS文件系统与源端存储的数据流动。DeleteDataFlow 删除数据流动 删除一个数据流动。ModifyDataFlow 修改数据流动 修改数据流动的属性。DescribeDataFlows 查询数据流动...
创建并管理电子表格
在 保存文件 对话框中，输入 文件名。单击 确认。查看和管理电子表格 在电子表格的编辑页面，单击左上方的 电子表格 或左侧菜单栏中的 图标，进入电子表格列表页面。在 电子表格 页面的 全部电子表格 区域，您可以查看 我创建的 和 分享给...
数据安全
DSC 是否会保存您的数据和文件？数据安全中心（DSC）不会保存您的数据和文件。在您授权访问数据源后，DSC 会对数据进行扫描，并仅将扫描的分析结果展示在 数据安全中心控制台，供您使用。如何对 DSC 的操作记录进行审计？DSC 的所有操作...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
计费项
按量付费：数据流动带宽费用=（按每小时配置的最高带宽-CPFS文件系统存储容量/1200 GiB×50 MB/s）×每小时数据流动带宽单价 文件存储CPFS提供数据流动带宽优惠政策，即每1200 GiB CPFS文件系统存储容量减免50 MB/s的数据流动带宽费用。...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
TSDB全量迁移至时序引擎
迁移流程 TSDB全量迁移至Lindorm时序引擎的迁移流程如下：通过时序数据迁移工具读取TSDB所有的时间线数据，并将数据保存至本地文件。根据迁移任务配置（指定开始时间、结束时间和时间切分周期）将迁移任务划分成多个时间分组。按照迁移任务...
- 产品推荐
- 这些文档可能帮助您