如何关闭OSS服务或停止计费?

如果您不希望继续使用OSS服务,请删除存储空间(Bucket)下的所有对象(Object)、因分片上传或断点续传产生的碎片(Part)、以及LiveChannel,再删除Bucket,即可在下一个账期(OSS按量付费一小时出一次账单)不产生扣费信息。如果要删除...

服务条款

请参见 阿里云存储服务协议。

开源Flink写入OSS-HDFS服务

写入OSS-HDFS服务以及OSS服务须使用相同的前缀 oss:/,JindoSDK会自动识别写入的内容。示例 通用配置 为了支持EXACTLY_ONCE语义写入OSS-HDFS,您需要执行如下配置:打开Flink的检查点(Checkpoint)。示例如下。通过如下方式建立的...

如何修改OSS服务的Object元数据信息

概述 本文主要介绍如何修改OSS服务的Object元数据信息。...您在上传Object或者在后续使用的过程中可能需要修改对应的数据。可参考如下两种解决方法。方法一:将Object下载到本地 将Object下载到本地,删除...管理文件元信息 适用于 对象存储 OSS

监控服务概览

使用方法请参见:监控SDK参考 访问监控数据 监控、诊断和故障排除 监控诊断和故障排除 通过详细介绍以下各个方面的内容帮助您更好地了解OSS服务的运行状态并进行自主诊断和故障排除:服务监控 介绍如何使用监控服务持续监控OSS存储服务的...

OSS日志服务投递任务失败

问题描述 在OSS的日志服务中投递任务失败的场景如下所示:场景1:当您在日志服务的OSS投递任务失败一般会有如下报错:AccessDenied:The bucket you are attempting to access must be addressed using the ...适用于 对象存储OSS 日志服务SLS

什么是OSS-HDFS服务

作为原生数据湖基础,OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...

服务等级协议

请参见 对象存储OSS服务等级协议。

阿里云存储服务

对象存储 对象存储OSS(Object Storage Service)是阿里提供的海量、安全、低成本、高可靠的存储服务,尤其适合非结构化数据(如图片、音视频)的存储。OSS在阿里上提供高级别的数据持久性和可用性。其存储类型分为标准存储、低频...

开通并授权访问OSS-HDFS服务

本文介绍如何开通并授权访问OSS-HDFS服务。前提条件 华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、华南3(广州)、华北3(张家口)、中国香港、日本(东京)、新加坡、德国(法兰克福...

HBase使用OSS-HDFS服务作为底层存储

相对于本地HDFS存储OSS-HDFS服务使用更加灵活,且一定程度减少了运维成本。前提条件 已创建ECS实例。具体步骤,请参见 选购ECS实例。已创建Hadoop环境。具体步骤,请参见 创建Hadoop运行环境。已部署Apache HBase。具体步骤,请参见 ...

通过监控服务实时监控OSS流控信息

产品类型 选择 对象存储OSS。事件类型 选择 全部类型。事件等级 选择 警告 和 信息。事件名称 选择 全部事件。关于监控支持的OSS流控事件的含义及说明,请参见 监控支持的OSS流控事件。报警联系人组 选中报警方式下的 报警通知,然后...

通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark

成本效益分析 OSS作为对象存储服务,相比传统HDFS在成本结构上有一定优势。通过实测OSS-HDFS在TPC-DS下的性能,可以结合成本因素来确定是否适用于特定业务场景,从而作出更具经济效益的选择。背景信息 TPC-DS作为全球权威的数据管理系统...

Hive使用JindoSDK处理OSS-HDFS服务中的数据

方式二:在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径,然后重启Hive Metastore,后续创建的数据库和数据库下的表均默认存储OSS-HDFS服务...

Spark使用JindoSDK查询OSS-HDFS服务中的数据

在 core-site.xml 文件中配置 将OSS-HDFS服务实现类配置到Spark的 core-site.xml 配置文件中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...

Trino使用JindoSDK查询OSS-HDFS服务中的数据

将已开启OSS-HDFS服务的Bucket对应的AccessKey ID、AccessKey Secret配置到Trino所有节点上的Hadoop配置文件 core-site.xml 文件中。property><name>fs.oss.accessKeyId</name><value>LTAI5t7h6SgiLSganP2m*</value></...

Impala使用JindoSDK查询OSS-HDFS服务中的数据

JindoSDK是一个面向Hadoop、Spark生态且简单易用的OSS客户端,为OSS提供高度优化的Hadoop FileSystem实现。相对于Hadoop社区OSS客户端,Impala使用JindoSDK查询OSS-HDFS服务中的数据时,可以获得更好的性能。前提条件 已创建ECS实例。具体...

EMR Flink写入OSS-HDFS服务

可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权...

非EMR集群接入OSS-HDFS服务快速入门

OSS-HDFS服务(JindoFS服务)完全兼容HDFS接口,同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用(例如MapReduce、Hive、Spark、Flink等)提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK,然后完成...

Flume使用JindoSDK写入OSS-HDFS服务

Apache Flume是一个分布式、可靠和高可用的系统,用于从大量不同的数据源有效地收集、聚合和移动大量日志数据,进行集中式的数据存储。Flume通过调用flush()保证事务性写入,并通过JindoSDK写入OSS-HDFS服务,确保flush后的数据立刻可见,...

Hive以EMR集群的方式处理OSS-HDFS服务中的数据

方式二:在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径,然后重启Hive Metastore,后续创建的数据库和数据库下的表均默认存储OSS-HDFS服务...

快速搭建移动应用直传服务

OSS:即阿里云对象存储,负责处理移动应用的数据请求。RAM/STS:负责生成临时上传凭证,即Token。应用服务器:即提供该Android/iOS应用的开发者开发的App后台服务,用于管理App上传和下载的Token,以及用户通过App上传数据的元数据。实现...

EMR集群接入OSS-HDFS服务快速入门

阿里开源大数据开发平台E-MapReduce(简称EMR)特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 ...

通过SeaTunnel集成平台将数据写入OSS-HDFS服务

SeaTunnel是一个开源、易用的超高性能分布式数据集成平台,支持海量数据的实时同步。本文介绍如何通过SeaTunnel集成平台将数据写入OSS-HDFS服务。...相关文档 OSS-HDFS服务概述 OSS-HDFS服务使用前须知 开通并授权访问OSS-HDFS服务

迁移半托管JindoFS集群数据到OSS-HDFS服务

本文介绍如何将半托管JindoFS集群迁移到OSS-HDFS服务。前提条件 半托管JindoFS集群对应的OSS Bucket已开通OSS-HDFS服务。半托管JindoFS集群已开启AuditLog。使用最新版本JindoSDK。下载地址,请参见 GitHub。步骤一:全量迁移 全量迁移模式...

迁移OSS-HDFS服务不同Bucket之间的数据

本文介绍如何使用阿里Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤,请参见 创建集群。如果您使用的是自建ECS集群,需确保集群具备Hadoop2.7+或...

使用监控服务

查询Bucket详情 您可以在对象存储OSS监控页签,查询Bucket列表、Bucket对应的监控图表,也可以单击 报警规则 直接为相应Bucket创建一条报警规则。登录 监控控制台。在左侧导航栏,单击 产品监控。筛选并进入对象存储OSS监控页面。在 ...

HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储

阿里开源大数据开发平台E-MapReduce(简称EMR)支持HBase使用OSS-HDFS服务作为底层存储,同时支持存储WAL文件,实现存储与计算分离。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群,并在创建集群时选择Hbase。具体...

使用在线迁移服务跨账号迁移OSS数据

您可以使用阿里在线迁移服务,将阿里账号A下的OSS存储空间Bucket A的数据迁移至另一个阿里账号B的OSS目标存储空间Bucket B,Bucket A与Bucket B可以位于相同或不同地域。重要 目前在线迁移功能不收取服务费用,但是因迁移数据时...

迁移Hive表和分区数据到OSS-HDFS服务

本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本(除3.39.x版本以外)或EMR-5.2.0(除5.5.x版本以外)及以上版本的集群。具体步骤,请参见 创建集群。已通过Hive命令...

Sqoop以EMR集群的方式读写OSS-HDFS服务的数据

format 可选 文件存储的格式。取值为 avrodatafile、sequencefile、textfile(默认值)、parquetfile。count 可选 指定MapReduce的任务数。使用示例 将OSS-HDFS服务examplebucket中指定路径下的数据导入MySQL中的数据库表src_kv。sqoop ...

同时开通OSS-HDFS服务和版本控制的Bucket如何处理?

如果某个Bucket同时开通OSS-HDFS服务和版本控制,可能导致OSS-HDFS服务异常。为保证OSS-HDFS服务的稳定性,您需要暂停版本控制,同时配置生命周期规则清理删除标记。暂停版本控制 您可以通过OSS控制台、阿里SDK、命令行工具ossutil等多种...

使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务

本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务。已创建DataLake集群,并选择了Flume服务。具体操作,请参见 创建集群。已...

Presto以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Presto如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

Spark以EMR集群的方式处理OSS-HDFS服务中的数据

本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务...

Impala以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Impala如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

使用日志服务告警为您的OSS保驾护航

说明 开启实时日志查询后,日志服务将自动生成名为 oss-log-store 的Logstore,该Logstore保存在格式为 oss-log-阿里账号ID-region 的Project下。请记录生成的Project名称,用于配置后续的通知渠道及告警阈值。开启实时日志查询的具体...

教程示例:结合消息服务实现OSS事件通知

您可以通过OSS管理控制台配置事件通知规则,自定义您关注的文件(Object),当这些Object发生指定事件时,您可以通过消息服务指定的接收终端,及时收到Object的事件通知。场景描述 某企业在华东1(杭州)地域创建了名为srcbucket的存储空间...

Hadoop使用JindoSDK访问OSS-HDFS服务

作为原生数据湖基础,OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云存储网关 文件存储 CPFS 云备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用