文件存储 HDFS 版和对象存储OSS双向数据迁移
步骤三：数据迁移 为Hadoop集群挂载好 文件存储 HDFS 版 实例和安装OSS客户端Jindo SDK后，使用Hadoop MapReduce任务（DistCp）即可实现数据迁移。迁移数据的操作如下所示。实践一：将 文件存储 HDFS 版 上的数据迁移至对象存储OSS 执行...
入门概述
什么是文件存储CPFS 产品规格 使用限制 文件存储CPFS的文件系统类型 文件存储CPFS支持两种文件系统类型，分别为CPFS和CPFS智算版。您可以根据业务负载选择其中一种或几种文件系统，为业务负载提供必要的可靠性、安全性和持续性。更多详情，...
常见问题
产品简介FAQ 什么是文件存储NAS？文件存储NAS支持哪些访问协议？如何选择NFS和SMB文件系统协议？每个账户可以创建多少个文件系统、文件系统有什么限制？更多产品简介常见问题 产品定价FAQ 开通NAS服务后，就开始计费吗？购买了存储包为什么...
新功能发布记录
2020-09-30 全部 什么是文件存储CPFS 文件存储CPFS 1.0（商用）文件存储CPFS 1.0版本提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
入门概述
文件存储NAS概述 阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台...
CPFS存储卷概述
更多信息，请参见 什么是文件存储CPFS。适用场景 推荐在容器场景对低延迟，百万以上小文件的读写需求，包括AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析以及影视渲染等需要超高吞吐场景的使用。根据业务需求，您可以对...
常见问题
问题概览 产品咨询类 什么是文件存储CPFS？CPFS适用什么场景？CPFS的优势有哪些？如何开通服务，并创建文件存储CPFS文件系统？如何选择CPFS的性能规格？CPFS-POSIX支持哪些操作系统？CPFS-NFS支持哪些操作系统？如何选择CPFS-POSIX客户端和...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
在云桌面内挂载CPFS文件系统
更多信息，请参见 什么是文件存储CPFS。文件存储CPFS提供NFS协议服务，通过CPFS-NFS客户端在无影云桌面的环境中进行挂载访问，从而实现无影云桌面对CPFS文件系统中的数据进行单机训练、仿真、调试和管理。更多信息，请参见 协议服务概述。...
迁移开源HDFS的数据到文件存储 HDFS 版
具体操作，请参见 创建文件系统实例后，为什么无法访问文件存储 HDFS 版？准备迁移工具。您可以通过Hadoop社区标准的DistCp工具实现全量或增量的HDFS数据迁移。更多关于DistCp工具使用说明，请参见 Hadoop DistCp工具官方说明文档。说明 ...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
Linux系统挂载SMB协议文件系统
云服务器ECS（Linux）WebServer共享访问场景 在多个云服务器ECS（Linux）上安装WebServer（如apache），且SMB文件系统作为共享文件存储。说明 SMB文件系统主要特点是共享访问、横向扩展、高可用，由于和本地硬盘实现机理不同，某些场景的小...
CPFS-NFS客户端挂载文件系统（推荐）
您可以在文件存储NAS控制台文件系统列表页面，单击目标文件系统后的 管理，进入 协议服务 页面，在 操作 列，单击 导出目录，进入 导出目录 面板获取挂载地址。CPFS文件系统目录：CPFS的根目录（/share）或任意子目录（例如：/share/path）...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
文件存储HDFS版
文件存储HDFS版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大...
监控与日志
监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
文件存储
本文为您介绍 PolarDB PostgreSQL版（兼容Oracle）的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中；只读节点的CLOG文件会在各自...
文件系统存储类型
标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据。在创建文件系统后，文件系统数据首先存储在标准存储中，然后才能使用生命周期策略将数据转储至低频存储或归档存储。更多关于通用型NAS标准存储的信息，...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
创建文件系统
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。重要 在开通页面购买的产品为NAS资源包，并不是NAS文件系统。NAS资源包仅用于抵扣NAS文件系统存储容量费用。更多信息，请参见 资源包概述。...
常见问题
云存储网关文件上传原理解析是什么？极速同步如何保证反向同步数据一致性？云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？...
数据安全
可用性说明 对象存储 OSS 数据备份和容灾 文件存储 NAS 备份和恢复文件 云原生大数据计算服务 MaxCompute 备份与恢复 同时PAI EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过实现接近零开销的模型保存机制，...
生命周期管理FAQ
为了方便您选择生命周期管理策略和需配置的目录，阿里云文件存储NAS提供了NAS分层策略分析工具。您可以使用该工具设置的生命周期管理策略，对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序，将指定目录中冷数据量最高的几个子...
关于NAS和CPFS计费项名称调整的公告
为了给您更好的体验，阿里云将对文件存储NAS和文件存储CPFS实例按量计费的计费项名称进行调整。新的命名将于2023年01月16日00:00:00起生效，生效后您新产生的账单中的计费项名称将按照新的计费项名称显示。调整时间 2023年01月16日00:00:00...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
新购ECS时挂载NAS文件系统
挂载多个文件系统 如果要在新购买的ECS实例上同时挂载多个NAS文件系统，请您继续单击 添加文件存储 进行配置。并注意以下几点配置事项：挂载地址：所有的挂载地址必须属于同一个专有网络VPC。如果没有同属于一个VPC的挂载地址，可以为NAS...
计费常见问题
本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...
录制文件管理
说明 本文以录制文件存储至OSS为例说明，录制文件存储至VOD与存储至OSS的查看方法类似。说明 如果待查询域名的区域已开通点播，并且已设置存储至VOD和存储至OSS，则此处会显示 存储至VOD 和 存储至OSS 页签。更多信息，请参见 录制存储至...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
logging（日志转存）
prefix 日志文件存储的目录。如果指定此项，则日志文件将保存在目标Bucket的指定目录下。如果不指定此项，则日志文件将保存在目标Bucket的根目录下。重要 生成日志的源Bucket和存储日志的目标Bucket可以相同也可以不同，但是必须位于同一...
身份管理
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问文件存储NAS。RAM用户 RAM用户需要由阿里云账号（即主账号）或拥有管理员权限的RAM用户、RAM角色来创建，且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。对于RAM...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
断点续传上传
同步的方式 以下代码以同步的方式断点续传上传examplefile.txt文件到目标存储空间examplebucket中exampledir目录下的exampleobject.txt文件，并将断点记录文件保存到本地。填写Bucket名称，例如examplebucket。String bucketName=...
- 产品推荐
- 这些文档可能帮助您