如何关闭OSS服务或停止计费?

如果您不希望继续使用OSS服务,请删除存储空间(Bucket)下的所有对象(Object)、因分片上传或断点续传产生的碎片(Part)、以及LiveChannel,再删除Bucket,即可在下一个账期(OSS按量付费一小时出一次账单)不产生扣费信息。如果要删除...

如何修改OSS服务的Object元数据信息

概述 本文主要介绍如何修改OSS服务的Object元数据信息。...您在上传Object或者在后续使用的过程中可能需要修改对应的数据。可参考如下两种解决方法。方法一:将Object下载到本地 将Object下载到本地,删除...管理文件元信息 适用于 对象存储 OSS

OSS日志服务投递任务失败

问题描述 在OSS的日志服务中投递任务失败的场景如下所示:场景1:当您在日志服务的OSS投递任务失败一般会有如下报错:AccessDenied:The bucket you are attempting to access must be addressed using the ...适用于 对象存储OSS 日志服务SLS

开源Flink写入OSS-HDFS服务

写入OSS-HDFS服务以及OSS服务须使用相同的前缀 oss:/,JindoSDK会自动识别写入的内容。示例 通用配置 为了支持EXACTLY_ONCE语义写入OSS-HDFS,您需要执行如下配置:打开Flink的检查点(Checkpoint)。示例如下。通过如下方式建立的...

什么是OSS-HDFS服务

作为原生数据湖基础,OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...

开通并授权访问OSS-HDFS服务

无地域属性的存储空间不支持使用OSS-HDFS服务。费用说明 元数据管理费用 使用OSS-HDFS服务时,会产生元数据管理费用,但该计费项暂不收费。更多信息,请参见 OSS-HDFS元数据管理费用。数据使用费用 使用OSS-HDFS服务时,数据块采用了OSS的...

HBase使用OSS-HDFS服务作为底层存储

相对于本地HDFS存储OSS-HDFS服务使用更加灵活,且一定程度减少了运维成本。前提条件 已创建ECS实例。具体步骤,请参见 选购ECS实例。已创建Hadoop环境。具体步骤,请参见 创建Hadoop运行环境。已部署Apache HBase。具体步骤,请参见 ...

EMR Flink写入OSS-HDFS服务

可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权...

教程示例:结合消息服务实现OSS事件通知

您可以通过OSS管理控制台配置事件通知规则,自定义您关注的文件(Object),当这些Object发生指定事件时,您可以通过消息服务指定的接收终端,及时收到Object的事件通知。场景描述 某企业在华东1(杭州)地域创建了名为srcbucket的存储空间...

Hive使用JindoSDK处理OSS-HDFS服务中的数据

方式二:在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径,然后重启Hive Metastore,后续创建的数据库和数据库下的表均默认存储OSS-HDFS服务...

通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark

成本效益分析 OSS作为对象存储服务,相比传统HDFS在成本结构上有一定优势。通过实测OSS-HDFS在TPC-DS下的性能,可以结合成本因素来确定是否适用于特定业务场景,从而作出更具经济效益的选择。背景信息 TPC-DS作为全球权威的数据管理系统...

Trino使用JindoSDK查询OSS-HDFS服务中的数据

将已开启OSS-HDFS服务的Bucket对应的AccessKey ID、AccessKey Secret配置到Trino所有节点上的Hadoop配置文件 core-site.xml 文件中。property><name>fs.oss.accessKeyId</name><value>LTAI5t7h6SgiLSganP2m*</value></...

Spark使用JindoSDK查询OSS-HDFS服务中的数据

在 core-site.xml 文件中配置 将OSS-HDFS服务实现类配置到Spark的 core-site.xml 配置文件中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...

Impala使用JindoSDK查询OSS-HDFS服务中的数据

OSS-HDFS服务实现类配置到Impala的 core-site.xml 文件中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...

Flume使用JindoSDK写入OSS-HDFS服务

Apache Flume是一个分布式、可靠和高可用的系统,用于从大量不同的数据源有效地收集、聚合和移动大量日志数据,进行集中式的数据存储。Flume通过调用flush()保证事务性写入,并通过JindoSDK写入OSS-HDFS服务,确保flush后的数据立刻可见,...

非EMR集群接入OSS-HDFS服务快速入门

OSS-HDFS服务(JindoFS服务)完全兼容HDFS接口,同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用(例如MapReduce、Hive、Spark、Flink等)提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK,然后完成...

EMR集群接入OSS-HDFS服务快速入门

阿里开源大数据开发平台E-MapReduce(简称EMR)特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 ...

Hive以EMR集群的方式处理OSS-HDFS服务中的数据

方式二:在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径,然后重启Hive Metastore,后续创建的数据库和数据库下的表均默认存储OSS-HDFS服务...

开通OSS服务

我们推荐您使用阿里云对象存储服务来存取文件,进而获取文件的URL地址。背景信息 阿里云对象存储服务(Object Storage Service,简称OSS)为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音频和...

迁移OSS-HDFS服务不同Bucket之间的数据

本文介绍如何使用阿里Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤,请参见 创建集群。如果您使用的是自建ECS集群,需确保集群具备Hadoop2.7+或...

通过SeaTunnel集成平台将数据写入OSS-HDFS服务

SeaTunnel是一个开源、易用的超高性能分布式数据集成平台,支持海量数据的实时同步。本文介绍如何通过SeaTunnel集成平台将数据写入OSS-HDFS服务。...相关文档 OSS-HDFS服务概述 OSS-HDFS服务使用前须知 开通并授权访问OSS-HDFS服务

迁移半托管JindoFS集群数据到OSS-HDFS服务

本文介绍如何将半托管JindoFS集群迁移到OSS-HDFS服务。前提条件 半托管JindoFS集群对应的OSS Bucket已开通OSS-HDFS服务。半托管JindoFS集群已开启AuditLog。使用最新版本JindoSDK。下载地址,请参见 GitHub。步骤一:全量迁移 全量迁移模式...

通过监控服务实时监控OSS流控信息

产品类型 选择 对象存储OSS。事件类型 选择 全部类型。事件等级 选择 警告 和 信息。事件名称 选择 全部事件。关于监控支持的OSS流控事件的含义及说明,请参见 监控支持的OSS流控事件。报警联系人组 选中报警方式下的 报警通知,然后...

迁移Hive表和分区数据到OSS-HDFS服务

本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本(除3.39.x版本以外)或EMR-5.2.0(除5.5.x版本以外)及以上版本的集群。具体步骤,请参见 创建集群。已通过Hive命令...

Sqoop以EMR集群的方式读写OSS-HDFS服务的数据

format 可选 文件存储的格式。取值为 avrodatafile、sequencefile、textfile(默认值)、parquetfile。count 可选 指定MapReduce的任务数。使用示例 将OSS-HDFS服务examplebucket中指定路径下的数据导入MySQL中的数据库表src_kv。sqoop ...

HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储

阿里开源大数据开发平台E-MapReduce(简称EMR)支持HBase使用OSS-HDFS服务作为底层存储,同时支持存储WAL文件,实现存储与计算分离。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群,并在创建集群时选择Hbase。具体...

同时开通OSS-HDFS服务和版本控制的Bucket如何处理?

如果某个Bucket同时开通OSS-HDFS服务和版本控制,可能导致OSS-HDFS服务异常。为保证OSS-HDFS服务的稳定性,您需要暂停版本控制,同时配置生命周期规则清理删除标记。暂停版本控制 您可以通过OSS控制台、阿里SDK、命令行工具ossutil等多种...

Hadoop使用JindoSDK访问OSS-HDFS服务

作为原生数据湖基础,OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...

使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务

本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务。已创建DataLake集群,并选择了Flume服务。具体操作,请参见 创建集群。已...

Presto以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Presto如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

Spark以EMR集群的方式处理OSS-HDFS服务中的数据

本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务...

Impala以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Impala如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

使用在线迁移服务跨账号迁移OSS数据

您可以使用阿里在线迁移服务,将阿里账号A下的OSS存储空间Bucket A的数据迁移至另一个阿里账号B的OSS目标存储空间Bucket B,Bucket A与Bucket B可以位于相同或不同地域。重要 目前在线迁移功能不收取服务费用,但是因迁移数据时...

使用日志服务告警为您的OSS保驾护航

说明 开启实时日志查询后,日志服务将自动生成名为 oss-log-store 的Logstore,该Logstore保存在格式为 oss-log-阿里账号ID-region 的Project下。请记录生成的Project名称,用于配置后续的通知渠道及告警阈值。开启实时日志查询的具体...

阿里云OSS服务访问

步骤三:分配函数到边缘实例 首先,需要为边缘实例分配包含 管理对象存储服务OSS)权限 权限的角色,或者在已分配到边缘实例的角色中添加 管理对象存储服务OSS)权限 权限。具体操作,请参见 资源访问。登录 边缘计算控制台。在左侧...

OSS控制台显示的本月外网流量与日志服务统计的不一致...

使用日志服务提供的命令进行查询时只能统计到7天内的流量数据,而OSS控制台统计的是整月已产生的流量数据,因此会出现数据不一致的情况。如果要查询准确的计量数据,请以费用中心数据为准。详情请参见 查询账号级别的用量情况。

监控服务概览

使用方法请参见:监控SDK参考 访问监控数据 监控、诊断和故障排除 监控诊断和故障排除 通过详细介绍以下各个方面的内容帮助您更好地了解OSS服务的运行状态并进行自主诊断和故障排除:服务监控 介绍如何使用监控服务持续监控OSS存储服务的...

服务条款

请参见 阿里云存储服务协议。

服务等级协议

请参见 对象存储OSS服务等级协议。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
商标服务 阿里邮箱 云存储网关 云备份 对象存储 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用