阿里云EMR Serverless Spark已于2024年9月14日开启商业化。
EMR Serverless Spark介绍
EMR Serverless Spark是一款云原生,专为大规模数据处理和分析而设计的全托管Serverless产品。产品优势如下:
云原生极速计算引擎
内置Fusion Engine (Spark Native Engine):相对开源版本性能提升300%,显著加速大数据计算任务。通过向量化引擎和批量数据处理技术优化计算效率,同时减少内存占用,大幅提升整体性能。
内置Celeborn(Remote Shuffle Service):支持PB级Shuffle数据处理,大幅提高大Shuffle任务的稳定性和性能。计算节点无需配置大规格云盘,充分利用Spark的动态资源伸缩能力,降低存储成本,计算资源总成本最高下降30%。
开放化的数据湖架构
按需弹性伸缩:支持计算与存储分离架构,计算资源可实现秒级弹性伸缩,最小粒度为1核,精细化按任务或队列级别进行资源计量。存储采用按量付费模式,避免资源浪费,大幅降低企业运营成本。
无缝迁移与兼容性:对接OSS-HDFS,完全兼容HDFS的云上存储,支持用户业务平滑迁移上云。通过DLF实现湖仓元数据全面打通,确保数据访问一致性与权限管理完整性,助力企业轻松构建现代化数据湖仓架构。
一站式的开发体验
全流程开发支持:提供从任务开发、调试、发布到调度的一站式开发体验,满足企业级开发与发布的高标准需求。内置版本管理功能,完整记录每次发布历史,支持源码与配置差异对比,确保变更可追溯。
高效协作与稳定性保障:开发与生产环境严格隔离,保障业务稳定性,助力团队高效协作与稳定交付。
Serverless的资源平台
开箱即用:无需手动管理和复杂的基础设施搭建,即可快速启动任务开发。
秒级弹性:基于Spark任务的资源需求,动态拉取资源启动Pod,运算完毕后立即释放资源,计费仅针对实际使用的资源量,进一步降低计算总成本。
成本预估:提供任务级别的资源计量与成本预估,帮助企业实现精细化运营。
更多信息,请参见什么是EMR Serverless Spark。
控制台入口:立即前往。
支持地域
中国地区
地域名称
地域ID
华北2(北京)
cn-beijing
华东2(上海)
cn-shanghai
华东1(杭州)
cn-hangzhou
华南1(深圳)
cn-shenzhen
华北3(张家口)
cn-zhangjiakou
华北6(乌兰察布)
cn-wulanchabu
西南1(成都)
cn-chengdu
中国香港
cn-hongkong
其他国家和地区
地域名称
地域ID
新加坡
ap-southeast-1
德国(法兰克福)
eu-central-1
美国(弗吉尼亚)
us-east-1
美国(硅谷)
us-west-1
日本(东京)
ap-northeast-1
印度尼西亚(雅加达)
ap-southeast-5
地域名称 | 地域ID |
印度尼西亚(雅加达) | ap-southeast-5 |
德国(法兰克福) | eu-central-1 |
新加坡 | ap-southeast-1 |
美国(弗吉尼亚) | us-east-1 |
美国(硅谷) | us-west-1 |
日本(东京) | ap-northeast-1 |
墨西哥 | na-south-1 |
产品计费
商业化开启后将涉及相关功能的收费,具体收费标准请参见产品计费。
商业化开启后,继续使用EMR Serverless Spark将按照计费标准收费。如果您不计划继续使用EMR Serverless Spark,请及时删除相关资源以避免不必要的费用。
服务等级协议
商业化开启后,产品保障服务等级协议,详情请参见E-MapReduce Serverless Spark服务等级协议。
联系我们
如果在使用EMR Serverless Spark的过程中遇到任何疑问,可加入钉钉群58570004119咨询。