SmartData 3.6.x版本简介

SmartData组件是EMR Jindo引擎的存储部分,为EMR各个计算引擎提供统一的存储缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData(3.6.x)版本的更新内容。JindoFS 此版本中...

如何使用数据缓存加速文件备份?

云备份 本地文件备份客户端已经默认为您开启了利用数据缓存加速文件备份的功能。数据缓存用来加速文件备份并通过磁盘空间交换文件备份的内存开销,不影响本机或异机恢复。本文介绍优化数据缓存配置的操作方法。前提条件 已成功安装 云备份 ...

JindoFS实战演示

通过JindoFS,您可以完成数据迁移、OSS访问加速、缓存加速、AI训练加速和JindoTable计算加速。本文为您介绍JindoFS实战的详细文档和演示视频。注意 如果视频断链表明该视频已过时,且已被下线。由于产品在不断更新迭代,请以官方控制台操作...

统一命名空间缓存加速

如果数据源为OSS、OSS-HDFS、Apache HDFS,请先完成如下配置:阿里云OSS/OSS-HDFS服务透明缓存加速 Apache HDFS透明缓存加速 如果数据源是阿里云文件存储NAS,则需要保证挂载在各个节点的相同路径下(NS和STS服务所在节点)。说明 本文以...

通过镜像缓存加速创建ECS实例

本文介绍如何通过镜像缓存加速创建ECS实例。场景说明 本文以使用云盒ECS实例创建自定义镜像为例,结合镜像缓存功能,实现加速创建具有相同环境的ECS实例。组网和流程如下:说明 您也可以从本地导入镜像生成自定义镜像。关于如何导入本地...

JindoFuse支持JindoFSx

JindoFuse透明缓存加速可以利用计算集群的闲置存储资源进行数据缓存来加速计算服务,避免计算集群或服务占用核心集群过多带宽。JindoFuse使用原来的地址(oss:/)可以将JindoFS服务上的文件挂载到本地文件系统中,让您能够像操作本地文件...

Jindo CLI支持操作JindoFSx命令

当数据源为OSS、OSS-HDFS、Apache HDFS、NAS时,请先完成如下配置:阿里云OSS/OSS-HDFS服务透明缓存加速 Apache HDFS透明缓存加速 统一命名空间缓存加速 说明 本文以EMR-3.42.0版本为例介绍。背景信息 本文为您介绍以下内容:数据缓存命令 ...

管理BlazingDNS组件

BlazingDNS基于内核可编程技术提供DNS缓存加速能力,可以显著提升DNS服务发现的稳定性和性能。本文介绍如何管理BlazingDNS组件。前提条件 已创建ACK Serverless集群。已为 ACK Serverless集群 安装ACK Virtual Node组件,且该组件版本已...

JindoData版本说明

在JindoFSx存储加速系统上,JindoData 4.4.x版本支持了客户端本地缓存(LocalCache),提供了纯客户端的缓存加速的能力,大幅改进和优化了在元数据缓存上的能力,完善了对阿里云NAS的缓存加速上的支持。在SDK与生态组件方面,大幅提升了多...

JindoCache概述

在实际使用中,并非所有的数据都需要缓存加速。考虑到数据湖的多样化计算需求和场景,JindoCache提供了细粒度的访问策略选择,您可以根据需要进行精确的配置。您可以根据具体情况选择激进的元数据缓存策略或完全不缓存某些数据,以实现最佳...

数据加速Fluid概述

重要 通过ack-fluid使用的分布式缓存加速引擎AlluxioRuntime、JuiceFSRuntime均为第三方开源社区/商业公司提供的免费开源组件。您可以按需选用并安装相应的服务端组件和客户端组件,以此获得分布式缓存服务。但阿里云不承担第三方组件相关...

使用镜像缓存加速创建ECI实例

本文介绍如何使用镜像缓存加速创建ECI实例。背景信息 使用镜像缓存创建ECI实例支持以下两种方式:自动匹配 根据匹配策略自动匹配最优的镜像缓存来创建实例。如果没有匹配到,系统将在创建实例的同时,自动创建一个镜像缓存。明确指定 明确...

JindoFS介绍和使用

JindoFS块存储模式(Block)JindoFS存储模式(Block),不仅提供缓存加速能力,还可以组织、存储数据和管理文件元数据,类似Apache Hadoop HDFS。在此模式下JindoFS是个独立的存储系统,只是文件块数据存储在OSS上。Cache模式和Block模式...

使用EMR

数据以Block形式存储在后端存储OSS上,本地提供缓存加速,元数据则由本地Namespace服务维护,提供高效的元数据访问性能。详情请参见 JindoFS块存储模式使用说明。前提条件 已创建EMR集群,详情请参见 创建集群。创建集群时,请注意如下事项...

镜像

本文介绍如何在 工作流集群 中使用镜像缓存加速创建工作流Pod。前提条件 已开通容器镜像ACR服务。已创建ACR企业版实例并完成镜像仓库相关配置。具体操作,请参见 使用企业版实例推送和拉取镜像。已记录ACR企业版实例ID、地域、域名等信息。...

阿里云OSS/OSS-HDFS服务透明缓存加速

JindoFSx存储加速系统提供了透明缓存的使用方式,兼容原生OSS/OSS-HDFS存储方式,文件以对象的形式存储在OSS/OSS-HDFS上,每个文件根据实际访问情况会在本地进行缓存,提升访问OSS/OSS-HDFS的效率,同时兼容了原有OSS/OSS-HDFS文件形式,...

数据集性能

加速开启情况 当前组织中数据集 加速开启情况,具体为 开启加速引擎、开启缓存加速、未开启加速 的占比以及 数据集总数 展示,支持选择对应的 工作空间,单击查询,可以查看空间内的占比情况。说明 开启加速引擎 是指数据集开启了“实时...

JindoCache加速OSS透明缓存

本文以JindoCache支持阿里云OSS透明缓存加速的使用方式为例,利用集群本身的存储资源缓存OSS文件,以加速作业对OSS的访问。前提条件 已创建集群,且选择了JindoCache服务,创建集群操作请参见 创建集群。已开通OSS服务,详情请参见 开通OSS...

NVMe协议介绍

通过在计算和存储之间加速NVMe共享云盘作为缓存加速,可以极大地提升数据湖等场景的访问性能。机器学习 机器学习是另一个共享盘典型应用场景,在将样本标注写入后,会将数据拆分给多个节点进行神经网络的分布式计算,特别是在以GPU为计算...

什么是DCDN

应用场景 游戏加速 网页游戏和对战平台类的游戏业务可以接入DCDN,以实现路由优化、缓存加速和安全防护等综合加速服务。电商行业 电商页面包含大量的图片文字元素,DCDN支持在边缘节点运行计算服务,实现在边缘节点做前端页面渲染。这样既...

概述

SmartData组件包括:JindoFS核心子系统:为各种远端存储系统提供缓存和缓存加速,详情请参见 JindoFS介绍和使用。JindoTable核心子系统:为表格数据源(例如Hive数仓)提供表和分区级别的优化和治理,详情请参见 JindoTable使用说明。...

通用云盘IO加速功能

如果您希望提升磁盘IO效率和系统的响应速度,可以使用RDS MySQL通用云盘的IO加速功能,该功能可以帮助扩展缓存池的大小,实现缓存加速,提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...

通用云盘IO加速功能

如果您希望提升磁盘IO效率和系统的响应速度,可以使用RDS MySQL通用云盘的IO加速功能,该功能可以帮助扩展缓存池的大小,实现缓存加速,提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...

通用云盘IO加速功能

如果您希望提升磁盘IO效率和系统的响应速度,可以使用RDS MySQL通用云盘的IO加速功能,该功能可以帮助扩展缓存池的大小,实现缓存加速,提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...

高级配置:内存缓存本地目录

为了解决这个问题,EAS 提供了本地目录内存缓存加速的功能。通过将模型文件缓存到内存中,可以提高读取数据的速度,减少延时。本文为您介绍如何配置本地目录内存缓存并详细说明其带来的加速效果。背景信息 在大部分模型推理场景中,特别是...

JindoCache加速OSS-HDFS透明缓存

本文以JindoCache支持阿里云OSS-HDFS透明缓存加速的使用方式为例,利用集群本身的存储资源缓存OSS-HDFS文件,以加速作业对OSS-HDFS的访问。前提条件 已创建集群,且选择了JindoCache服务,创建集群操作请参见 创建集群。已开通并授权访问...

Apache HDFS透明缓存加速

Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存,避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离,HDFS集群访问性能不及预期时,您可以通过在计算集群或靠近计算集群的地方缓存...

JindoCache统一命名空间缓存加速

JindoCache存储加速系统不仅提供了对多种数据源的缓存加速功能,还能将不同数据源统一管理,并将它们置于同一个命名空间下,从而实现统一访问。前提条件 已完成JindoCache的配置,详情请参见 JindoCache加速OSS透明缓存 或 JindoCache加速...

Quick BI报表查询速度如何优化加速

问题原因 查询数据量比较大,报表展示慢,可以通过数据集加速缓存方式加速查询,或者优化查询语句等。解决方案 1.如果是MaxCompute数据源,可以在新建数据源的时候勾选MaxCompute查询加速。2.可以进入工作空间->数据集,选择一个数据集,在...

自动匹配镜像缓存创建ECI实例

在创建ECI实例时,如果开启了自动匹配镜像缓存,系统会自动匹配使用最优的镜像缓存,以此来避免或减少镜像层的下载,提升实例创建速度。本文介绍如何开启自动匹配镜像缓存...相关文档 镜像缓存计费 管理镜像缓存 使用镜像缓存加速创建ECI实例

【新功能/规格】RDS MySQL通用云盘支持IO加速功能

云数据库RDS MySQL通用云盘支持IO加速功能,该功能可以帮助您降低数据库级别的IO时延,实现缓存加速,提升磁盘IO效率和系统的响应速度。在不提升成本的情况下,您可以获得QPS的提升。简介 通用云盘的IO加速功能基于数据库缓存池拓展...

Partial Result Cache(PTRC)

当内存使用达到上限并且命中率高于此值时,内存缓存变更为文件存储缓存,已缓存的数据也会转存至文件中。取值范围:0~100。默认值:70。partial_result_cache_max_mem_size Global/Session 单个查询中PTRC累积内存使用量。一个查询内部可能...

应用场景

场景一:Redis作为缓存加速应用访问 Redis作为缓存层,加速应用访问。数据存储在后端的数据库中(RDS)。场景二:Redis作为存储数据库使用 游戏部署架构相对简单,主程序部署在ECS上,所有业务数据存储在Redis中,作为持久化数据库。云数据...

什么是DCDN

应用场景 游戏加速 网页游戏和对战平台类的游戏业务可以接入 DCDN,以实现路由优化、缓存加速和安全防护等综合加速服务。电商行业 电商页面包含大量的图片文字元素,DCDN 支持在边缘节点运行计算服务,实现在边缘节点做前端页面渲染。这样...

【新功能/规格】2024年01月29日RDS MySQL IO加速公测...

云数据库RDS MySQL通用云盘支持IO加速功能,该功能可以帮助您降低数据库级别的IO时延,实现缓存加速,提升磁盘IO效率和系统的响应速度。在不提升成本的情况下,您可以获得QPS的提升。RDS MySQL通用云盘IO加速功能公测活动将于2024年01月29...

过滤参数

之后的参数,提高全站加速缓存的命中率。例如:第一次访问 http://example.aliyundoc.com/image_01.jpg ,全站加速没有缓存,直接回源访问数据;第二次访问 http://example.aliyundoc.com/image_01.jpg?test1 ,由于开启了过滤参数,所以?...

使用JindoFS加速OSS文件访问

本文介绍如何在E-MapReduce(简称EMR)on ACK的Spark集群中,通过Fluid和JindoRuntime加速访问OSS文件。背景信息 Fluid是一个开源的Kubernetes原生的分布式数据集编排和...后续正常提交的作业,读取OSS时就可以体验JinfoFS的缓存加速效果了。

SmartData常见问题

对比项 JindoFS Alluxio 相同点 JindoFS缓存模式在技术架构上与Alluxio类似,都提供对OSS的缓存加速能力,支持Master+Workers形式,Master维护缓存块的位置信息,Workers提供缓存块的管理和读写能力。不同点 JindoFS不需要挂载,可以直接...

使用阿里云CDN加速后网站访问速度较慢

这种场景下,CDN无法缓存实时变化的动态内容,因此CDN的缓存加速不适用于加速动态内容。对于动态内容请求,CDN节点只能转发回源站服务器,没有加速效果。如果用户的网站或App应用有较多动态内容,例如:需要对各种API接口进行加速,可以...

JindoFSx P2P分布式下载配置指南

启用缓存加速功能 说明 启用缓存会利用本地磁盘对访问的热数据块进行缓存,默认状态为禁用,即可以直接访问OSS/OSS-HDFS上的数据。fs.jindofsx.data.cache.enable 数据缓存开关:false(默认值):禁用数据缓存。true:启用数据缓存。保存...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
混合云存储 对象存储 全球加速 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用