本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。
大数据型实例规格(d系列)处理器与内存配比为1:4(部分规格不为1:4),适用于Hadoop MapReduce、HDFS、Hive、HBase等大数据计算和存储业务场景,以及Elasticsearch、Kafka等搜索和日志数据处理场景。
背景信息
在阅读各个实例规格族的特点及详细指标之前,您需要提前学习以下信息:
了解实例规格命名及分类:帮助您更好地理解实例规格族的命名及分类信息,了解各规格族之间差异,详参见实例规格分类与命名。
了解实例规格指标:提前了解实例规格的各项指标说明,请参见实例规格指标说明,您也可以通过调用DescribeInstanceTypeFamilies和DescribeInstanceTypes查询阿里云ECS提供的实例规格族列表及所有实例规格的详细信息。
根据业务场景选择实例规格族:想获取更多关于如何在实际业务场景中选择合适的规格,请参见实例规格选型指导。
在确定您要选择的实例规格之后,您可能需要进一步了解以下信息:
查看实例可购买地域:各个地域下可供售卖的实例规格可能存在差异,实例的可购情况,您可以前往ECS实例可购买地域查看,也可以调用DescribeRegions和DescribeZones查询ECS资源支持的地域和可用区。
预估实例费用:想了解实例在不同付费方式下大概的花费,可使用阿里云的ECS价格计算器查看,也可以调用DescribePrice查询ECS资源的最新价格。
直接购买实例:可直接前往ECS购买页下单。
您可能还会关注:
推荐 | 不推荐(如果以下规格售罄,建议使用前面的规格) |
大数据型实例规格族介绍
本地盘的数据可靠性取决于物理机的可靠性,存在单点故障风险。使用本地盘存储数据有丢失数据的风险,请勿在本地盘上存储需要长期保存的业务数据。更多信息,请参见本地盘。
大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题,适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景,充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。
大数据型实例规格族适合有大数据计算与存储分析需求的行业客户,例如互联网行业、金融行业等。同时,结合以Hadoop为代表的分布式计算业务的高可用架构,大数据型实例采用本地存储的设计,保证海量存储空间、高存储性能。
大数据实例具有以下特点:
基于企业级架构提供稳定计算能力,为高效处理计算作业提供保障。
网络性能更高(包括单实例最大内网带宽和最大小包转发率),满足业务高峰期实例间的数据交互需求,例如MapReduce计算框架下的Shuffle过程。
使用大数据实例时请注意:
不支持变配。
本地盘与特定规格的实例相绑定,本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘,不支持将本地盘卸载并挂载到另一台实例上使用。
本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像,建议通过组合系统盘快照和数据盘(仅限云盘)快照的方式来创建。
不支持基于实例ID创建包含系统盘和数据盘的镜像。
支持挂载SSD云盘,挂载的云盘支持扩容。
操作本地盘实例可能对本地盘数据产生影响,更多详情,请参见实例操作对本地盘数据的影响。
大数据实例文件系统挂载最佳实践
使用ext4等文件系统,首次执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中,默认启用了lazyinit特性,导致inode table初始化会延迟到mount后,且本地盘在初始化时会占用较大吞吐量(例如30个本地盘的吞吐量可能高达600 MB/s),影响业务稳定性。4.x版本内核中增加了lazyinit并发度,可以缓解该问题,详情请参见社区。ECS推荐以下最佳实践,使您在相对较快的时间内完成初始化:
获取所有SATA HDD本地盘列表。
运行以下命令,为每个本地盘开启独立的后台初始化。
本示例中,在设备名为/dev/vdb的本地盘上创建ext4文件系统。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
等待所有本地盘完成初始化,并运行iostat -x 5,直至所有本地盘的I/O活动显示为0。
批量执行mount操作。
大数据存储密集型实例规格族d3s
规格族介绍:实例配备12 TB大容量、高吞吐SATA HDD本地盘,辅以最大64 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、HBase等大数据计算和存储业务场景。
Spark内存计算、MLlib等机器学习场景。
ElasticSearch、Kafka等搜索和日志数据处理场景。
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机。
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:2.7 GHz主频的 ® Xeon ® 可扩展处理器(Ice Lake),全核睿频3.5 GHz,计算性能稳定。
存储:
I/O优化实例。
支持的云盘类型:ESSD云盘和ESSD AutoPL云盘。
网络:
支持IPv4、IPv6。关于IPv6通信,参见IPv6通信。
实例网络性能与实例规格对应,规格越高网络性能越强。
d3s包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络基础带宽/突发(Gbit/s) | 网络收发包PPS(万) | 云盘带宽基础/突发(Gbit/s) |
ecs.d3s.2xlarge | 8 | 32 | 4 * 11918 | 10/最高15 | 200 | 3/最高5 |
ecs.d3s.4xlarge | 16 | 64 | 8 * 11918 | 25/无 | 300 | 5/无 |
ecs.d3s.8xlarge | 32 | 128 | 16 * 11918 | 40/无 | 600 | 8/无 |
ecs.d3s.12xlarge | 48 | 192 | 24 * 11918 | 60/无 | 900 | 12/无 |
ecs.d3s.16xlarge | 64 | 256 | 32 * 11918 | 80/无 | 1200 | 16/无 |
大数据计算密集型实例规格族d3c
d3c的特点如下:
规格族介绍:实例配备大容量、高吞吐本地盘,辅以最大40 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、HBase等大数据计算和存储业务场景。
EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景。
Spark内存计算、MLlib等机器学习场景。
ElasticSearch、Kafka等搜索和日志数据处理场景。
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机。
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:采用第三代Intel ® Xeon ® 可扩展处理器(Ice Lake),主频2.9 GHz,全核睿频3.5 GHz,计算性能稳定。
存储:
I/O优化实例。
支持的云盘类型:ESSD云盘和ESSD AutoPL云盘。
网络:
支持IPv4、IPv6。关于IPv6通信,参见IPv6通信。
实例网络性能与实例规格对应,规格越高网络性能越强。
d3c包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络带宽基础/突发(Gbit/s) | 网络收发包PPS(万) | 云盘IOPS基础/突发(万) | 云盘带宽基础/突发(Gbit/s) |
ecs.d3c.3xlarge | 14 | 56.0 | 1 * 13743 | 8/最高10 | 160 | 4/无 | 3/无 |
ecs.d3c.7xlarge | 28 | 112.0 | 2 * 13743 | 16/最高25 | 250 | 5/无 | 4/无 |
ecs.d3c.14xlarge | 56 | 224.0 | 4 * 13743 | 40/无 | 500 | 10/无 | 8/无= |
该实例规格族仅支持Linux镜像,创建实例时请选择Linux镜像,否则会创建失败。
大数据计算密集型实例规格族d2c
规格族介绍:实例配备大容量、高吞吐SATA HDD本地盘,辅以最大35 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景。
EMR JindoFS配合OOS实现大数据冷热数据分层和存储计算分离的场景。
Spark内存计算、MLlib等机器学习场景。
ElasticSearch、Kafka等搜索和日志数据处理场景。
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机。
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:2.5 GHz主频的Intel ® Xeon ® Platinum 8269CY(Cascade Lake)。
存储:
I/O优化实例。
支持的云盘类型:ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘。
网络:
支持IPv4、IPv6。关于IPv6通信,参见IPv6通信。
实例网络性能与实例规格对应,规格越高网络性能越强。
d2c包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络基础带宽(Gbit/s) | 网络收发包PPS(万) |
ecs.d2c.6xlarge | 24 | 88.0 | 3 * 3972 | 12.0 | 160 |
ecs.d2c.12xlarge | 48 | 176.0 | 6 * 3972 | 20.0 | 200 |
ecs.d2c.24xlarge | 96 | 352.0 | 12 * 3972 | 35.0 | 450 |
大数据存储密集型实例规格族d2s
规格族介绍:实例配备大容量、高吞吐SATA HDD本地盘,辅以最大35 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景。
Spark内存计算、MLlib等机器学习场景。
ElasticSearch、Kafka等搜索和日志数据处理场景。
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机。
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:2.5 GHz主频的Intel ® Xeon ® Platinum 8163(Skylake)。
存储:
I/O优化实例。
支持的云盘类型:ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘。
网络:
支持IPv4、IPv6。关于IPv6通信,参见IPv6通信。
实例网络性能与实例规格对应,规格越高网络性能越强。
d2s包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络基础带宽(Gbit/s) | 网络收发包PPS(万) |
ecs.d2s.5xlarge | 20 | 88.0 | 8 * 7838 | 12.0 | 160 |
ecs.d2s.10xlarge | 40 | 176.0 | 15 * 7838 | 20.0 | 200 |
ecs.d2s.20xlarge | 80 | 352.0 | 30 * 7838 | 35.0 | 450 |
大数据网络增强型实例规格族d1ne
规格族介绍:实例配备大容量、高吞吐SATA HDD本地盘,辅以最大35 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、HBase等。
Spark内存计算、MLlib等。
ElasticSearch、日志等。
计算:
处理器与内存配比为1:4,为大数据场景设计。
处理器:2.5 GHz主频的Intel ® Xeon ® E5-2682 v4(Broadwell)。
存储:
I/O优化实例。
支持的云盘类型:SSD云盘和高效云盘。
网络:
支持IPv4、IPv6。关于IPv6通信,参见IPv6通信。
实例网络性能与实例规格对应,规格越高网络性能越强。
d1ne包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络基础带宽(Gbit/s) | 网络收发包PPS(万) |
ecs.d1ne.2xlarge | 8 | 32.0 | 4 * 5905 | 6.0 | 100 |
ecs.d1ne.4xlarge | 16 | 64.0 | 8 * 5905 | 12.0 | 160 |
ecs.d1ne.6xlarge | 24 | 96.0 | 12 * 5905 | 16.0 | 200 |
ecs.d1ne-c8d3.8xlarge | 32 | 128.0 | 12 * 5905 | 20.0 | 200 |
ecs.d1ne.8xlarge | 32 | 128.0 | 16 * 5905 | 20.0 | 250 |
ecs.d1ne-c14d3.14xlarge | 56 | 160.0 | 12 * 5905 | 35.0 | 450 |
ecs.d1ne.14xlarge | 56 | 224.0 | 28 * 5905 | 35.0 | 450 |
大数据型实例规格族d1
规格族介绍:实例配备大容量、高吞吐SATA HDD本地盘,辅以最大17 Gbit/s实例间网络带宽。
适用场景:
Hadoop MapReduce、HDFS、Hive、HBase等。
Spark内存计算、MLlib等。
互联网行业、金融行业等有大数据计算与存储分析需求的行业客户,进行海量数据存储和计算的业务场景。
ElasticSearch、日志等。
计算:
处理器与内存配比为1:4,为大数据场景设计。
处理器:2.5 GHz主频的Intel ® Xeon ® E5-2682 v4(Broadwell)。
存储:
I/O优化实例。
支持的云盘类型:SSD云盘和高效云盘。
网络:
仅支持IPv4。
实例网络性能与实例规格对应,规格越高网络性能越强。
d1包括的实例规格及指标数据如下表所示:
实例规格 | vCPU | 内存(GiB) | 本地存储(GB) | 网络基础带宽(Gbit/s) | 网络收发包PPS(万) |
ecs.d1.2xlarge | 8 | 32.0 | 4 * 5905 | 3.0 | 30 |
ecs.d1.3xlarge | 12 | 48.0 | 6 * 5905 | 4.0 | 40 |
ecs.d1.4xlarge | 16 | 64.0 | 8 * 5905 | 6.0 | 60 |
ecs.d1.6xlarge | 24 | 96.0 | 12 * 5905 | 8.0 | 80 |
ecs.d1-c8d3.8xlarge | 32 | 128.0 | 12 * 5905 | 10.0 | 100 |
ecs.d1.8xlarge | 32 | 128.0 | 16 * 5905 | 10.0 | 100 |
ecs.d1-c14d3.14xlarge | 56 | 160.0 | 12 * 5905 | 17.0 | 180 |
ecs.d1.14xlarge | 56 | 224.0 | 28 * 5905 | 17.0 | 180 |