ВИСТ Санкт-Петербург

Дисковая NVMe подсистема серверов на платформе Intel Purley

Наконец–то появились в продаже необходимые компоненты для серверов на базе новой платформы Intel Purley. Это 1U и 2U серверные платформы от Intel, долгожданные процессоры Intel Xeon Scalable, RAID контроллеры Tri-Mode SerDes, кабели OCuLink и 2,5" SSD диски c интерфейсом PCIe NVMe. Таким образом, уже с начала 4го квартала 2017 года доступны к заказу серверы VIST Netline на Intel Purley предоставляющие возможность нашим заказчикам получить все преимущества от использования новейших технологий. Как показали последние несколько недель, наибольший интерес у заказчиков вызывает поддержка в новых платформах твердотельных дисков форм-фактора 2,5” c интерфейсом PCIe NVMe. Поэтому именно особенностям дисковой подсистемы в новых серверах посвящается эта статья. 

Преимущества 2,5" PCIe NVMe твердотельных дисков 

SSD диски с SATA интерфейсом имеют производительность в последовательном чтении порядка 500-550 МБ/сек, у SAS SSD порядка 1000-1800 МБ/сек. На рынке достаточно давно представлены более производительные - 1800-2800 МБ/сек и значительно более дорогие SSD в виде плат вставляемых в разъем PCIe, но их нельзя включить в RAID, да и количество PCIe плат в сервере ограничено, как минимум, количеством свободных PCIe разъемов. 2,5” диски с интерфейсом PCIe NVMe, например Intel серии DC P4500, имеют невероятную производительность по последовательному чтению – 3260-3290 МБ/сек при вполне разумной стоимости. Цены на 2,5” PCIe NVMe SSD сравнимы с ценами SATA дисков аналогичного объема: так SSDPE2KX010T701 DC P4500 1TB, 2.5”, PCIe 3.1 x4 ~ 45K руб., а SSDPE2KX020T701 DC P4500 2TB, 2.5”, PCIe 3.1 x4 ~ 63K руб. При этом 2,5” PCIe NVMe SSD быстрее SATA SSD в 5-6 раз и имеют более низкое энергопотребление.  

Уровень задержек у 2,5” PCIe NVMe SSD значительно ниже, чем у дисков с другими интерфейсами (см. картинку слева - открывается крупнее в новом окне). Это обеспечивается тем, что эти SSD работают «ближе» к процессору.  Итак, суммируя: PCIe NVMe SSD имеют более высокую производительность, самый низкий уровень задержек, отличную ценовую эффективность, возможность объединения в массивы RAID и хорошую масштабируемость, т.к. устанавливаются в стандартные дисковые корзины серверов.

Дисковые корзины серверов с поддержкой PCIe NVMe

В корзине со стороны дисков: универсальные дисковые разъемы U.2, SFF-8639

В серверах на платформе Intel Purley 2,5” PCIe NVMe SSD вставляются в стандартные 2,5”/3,5” дисковые корзины наряду с дисками SAS/SATA. Причем в один и тот же слот можно устанавливать диски с любым из этих интерфейсов. Чтобы обеспечить совместимость, объединительная плата (бэкплейн) дисковой корзины со стороны дисков оснащена универсальными многофункциональными разъемами SFF-8639 формат U.2 позволяющими подключать SAS/SATA/PCIe NVMe диски. Для дисков SAS/SATA достаточно использовать разъемы SFF-8482 или SFF-8680 с меньшим числом контактов, чем SFF-8639. Обратите внимание: имеются реализации бэкплейнов, где только часть дисковых слотов оборудованы разъемами SFF-8639, а в остальные дисковые слоты оснащены разъемами SFF-8482 или SFF-8680 и туда можно устанавливать только диски SAS/SATA. 

 В корзине со стороны системной платы: разъемы OCuLink, стандарт SFF-8611

На обратной дискам стороне платы бэкплейна вместе с традиционными разъемами HDmSAS, к которым подключались кабели с разъемами SFF-8643, появились новые разъемы OCuLink, к которым подключаются кабели с разъемами SFF-8611. Причем, если через один разъем HDmSAS можно получить доступ к 4м SAS/SATA дискам (поэтому для 8ми дисковых платформ достаточно 2 разъема – SAS/SATA Drives 0-3 и 4-7), то через OCuLink разъем подключается только один диск PCIe NVMe. На бэкплейне 8ми дисковой корзины имеется 8 разъемов OCuLink для 8ми PCIe NVMe SSD обозначенные как PCIe_SSD0 - PCIe_SSD7. Ниже на картинке бэкплейны 1U и 2U платформ R1208, R2208. 

Понятно, что в 2U платформах с большим числом 2,5” 8ми местных дисковых корзин, таких как Intel R2208+8 и R2224, количество OCuLink разъемов будет соответственно 16 и 24 шт.

Обратите внимание: в серверных платформах Intel с корзинами 3,5”/2,5” не все дисковые слоты поддерживают установку PCIe NVMe SSD. Так 2U платформа R2312WFxxx позволяет подключать в корзину только 2 шт. PCIe NVMe диска (слоты 10 и 11), а платформы Intel R2308WFxxx R1304WFxxx работают только с SAS/SATA дисками и не поддерживает PCIe NVM подключение.

 Подключение кабелей OCuLink от дисковой корзины

Кабели HDmSAS дисков SAS/SATA подключаются также как и в предыдущих поколениях серверных платформ Intel, а вот кабели установленные в разъемы OCuLink дисковой корзины можно далее подключить 3мя способами:

• в системную плату сервера напрямую;
• в дополнительную плату 4х или 8ми портового PCIe коммутатора;
• в RAID контроллер Tri-mode.

Рассмотрим все эти 3 варианта подключения подробнее (картинки ниже по клику открываются крупнее в новом окне): 

	1. В системных платах Intel семейства S2600WF встроены 4х PCIe OCuLink разъема обозначенные, также как на бэкплейне: PCIe_SSD0 - PCIe_SSD3. Причем PCIe_SSD0 и PCIe_SSD1 подключены к процессору CPU1, а PCIe_SSD2 и PCIe_SSD3 к процессору CPU2. Таким образом, если в сервере установлен только один процессор, можно к системной плате подключить только 2 PCIe NVMe SSD диска.
	Для прямого подключения в Intel платформах моделей R1208, R2208, R2208+8 и R2224 нужны кабели «straight OCuLink SFF-8611 - right angle OCuLink SFF-8611», например AXXCBL700CVCR или аналогичные им кабели с прямым и угловым разъемами длинами 470, 530 и 800 мм. Для платформ R2312WFxxx рекомендуются кабели AXXCBL600CVCR.

2. Платы 4х или 8ми портовых PCIe коммутаторов устанавливаются в PCIe cлоты riser карт (плат расширения) сервера и имеют соответственно 4 и 8 разъемов PCIe OCuLink. Очевидно, что эти платы предназначены для платформ R2208, R2208+8 и R2224, где в дисковых корзинах много OCuLink портов, а также имеется большое количество PCIe слотов на 3х riser картах. Обратите внимание, если в сервере установлен только один процессор, то часть PCIe слотов на riser'ах будет недоступна.

Плата 4х портового PCI коммутатора AXXP3SWX08040 низкопрофильная MD2 с шиной PCIe Gen3 x8, а   8ми портового коммутатора  AXXP3SWX08080 полноразмерная с такой же PCIe шиной.

	Для подключения OСuLink портов дисковой корзины к OCuLink разъемам плат PCI коммутаторов используются следующие кабели: A2U4PSWCXCXK1 и A2U4PSWCXCXK2 для 4х портового PCI коммутатора
	и комплекты из 2х кабелей:  A2U8PSWCXCXK1, A2U8PSWCXCXK2 и A2U8PSWCXCXK3 для 8ми портового PCI коммутатора.

 Для управления NVMe дисками, подключенными напрямую к системной плате или к платам PCI коммутаторов, используется технология Intel Volume Management Device for NVMe. Intel VMD обеспечивает корректную работу светодиодных индикаторов на дисковых картриджа и поддержку горячей замены NVMe SSD. Эта функция включается в BIOS системной платы (по умолчанию она выключена). Intel VMD работает только с NVMe SSD подключенными напрямую к процессорам, и не поддерживает работу через PCI линии чипсета PCH системной платы, например с устройствами подключенными в слоты формата M.2. Горячая замена для плат PCI коммутаторов не предусмотрена. Подробнее o Intel VMD в этом документе на стр. 63.

 Функционал Intel VMD может быть дополнен технологией Intel Virtual RAID on Chip NVMe RAID. Intel VROC использует технологию RSTe 5.0 для создания программных RAID массивов уровней 0/1/10/5 и позволяет загружать операционную систему с таких массивов. Для работы Intel VROC необходимо установить в системную плату приобретаемый отдельно аппаратный ключ VROCSTANMOD или VROCPREMMOD соответственно со стандартными или премиум функциями Intel RSTe 5.0. При использовании технологии Intel VROC следует обращать внимание на имеющиеся ограничения по расстановке NVMe и SAS/SATA дисков в дисковой корзине. Подробнее o правилах расстановки дисков для работы Intel VROC в этом документе на стр. 94.

3. Tri- Mode SerDes RAID контроллеры SAS/SATA/PCIe NVMe. Единственными на сегодня RAID контроллерами с поддержкой NVMe SSD являются контроллеры от компании Broadcom/LSI серии MegaRAID 94XX. Следует ожидать появления в продаже контроллеров от Intel на базе тех же контроллеров Broadcom/LSI. А вот от компании Microsemi/Adaptec пока ожидать таких контроллеров не стоит. По неофициальной информации следующая 9 серия Microsemi/Adaptec не будет поддерживать NVMe SSD, и лишь в 10й серии (конец 2018г ?) такая поддержка возможно появится. Потратив много времени и сил на переход на приобретенный ранее программный стэк от HP, компания Microsemi/Adaptec похоже потеряла лидерство и проиграла рынок NVMe SSD по крайней мере на год.

RAID контроллеры Broadcom/LSI серии MegaRAID 94XX получили название Tri-Mode SERDES. Tri-Mode - 3х режимные, из-за одновременной поддержки дисков с 3мя интерфейсами SAS, SATA и PCIe NVMe. А аббревиатура SerDes (Serializer/Deserializer) говорит о необходимости преобразования последовательного представления информации в интерфейсах SAS/SATA в параллельную форму в PCIe NVMe и наоборот. Стоит отметить, что при создании серии MegaRAID 94XX компания Broadcom/LSI впервые в своих RAID контроллерах перешла на процессоры ARM вместо PowerPС, что позволило при непревзойденной производительности (6840 МБ/с и 1,7M IOPS) значительно снизить энергопотребление и нагрев чипов. MegaRAID 9460-16i потребляют менее 1,1 Вт на порт (17,7 Вт против 23,2 Вт у 16 портового MegaRAID 93XX контроллера). Broadcom/LSI заявляет о значительном повышении производительности у новых контроллеров при работе только с SAS/SATA по сравнению с предыдущими контроллерами MegaRAID 93XX. Линейка Broadcom/LSI MegaRAID 94XX выглядит так: MegaRAID 9460-16i, MegaRAID 9460-8i, MegaRAID 9440-8i и MegaRAID 9480-8i8e. Поскольку недорогой MegaRAID 9440-8i – не является аппаратным RAID контроллером и поэтому не поддерживает защиту кэш памяти CacheVault, MegaRAID 9480-8i8e с 8ю внешними портами, а NVMe SSD не поддерживаются при установке их в дисковые полки JBOD, стоит ожидать в типовых конфигурациях наибольшую востребованность контроллеров MegaRAID 9460-16i и MegaRAID 9460-8i. Оба эти контроллера оборудованы разъемами, соответственно 4мя и 2мя, под кабели SFF-8643, и требуют кабелей с разъемами OCuLink для подключения к бэкплейну дисковой корзины.

Например таких: Intel AXXCBL700HDCV комплект из двух кабелей 1х dual SFF-8643 - 2х Oculink SFF-8611, 0.7m.

Сразу же по разъемам кабелей видно, что к MegaRAID 9460-8i можно подключить максимум 2 диска NVME PCIe x4, а к MegaRAID 9460-16i - максимум 4 SSD NVME PCIe x4.

Учитывая производительность PCIe х4 NVMe SSD, и то что сам RAID контроллер работает через шину PCIe3.1x8, бОльшее количество NVME SSD полностью «выбирает» пропускную способность шины PCIe.

В текущей прошивке MegaRAID 94ХХ не поддерживается режим совместной работы NVME SSD и дисков SAS/SATA, но, начиная с прошивки версии 7.3 (октябрь-ноябрь 2017г) такая поддержка объявлена. Указанные сроки кажутся вполне реальными, т.к. имеющаяся уже сегодня инженерная прошивка MegaRAID 94ХХ успешно работает в режиме mixed mode при совместной работе 2x NVMe и 6х SAS/SATA дисков в одной корзине.

Контроллеры MegaRAID 9460-8i и MegaRAID 9460-16i оснащены соответственно 2я и 4я ГБ кэш памяти DDR4-2133 (процессоры могут поддерживать до 8 ГБ кэша, и есть сведения о возможном выходе контроллера 9460-16i с 8ГБ кэш памяти), которую можно защитить от сбоев электропитания модулем CacheVault CVPM05 устанавливаемым дополнительно. Заявленное значение MTBF для контроллеров MegaRAID 94XX более 3 млн. часов при температуре 40°С.  

Дисковая подсистема серверных платформ Intel Purley стала революционной, впрочем, наряду и с другими подсистемами этой платформы. Да, и в своей предыдущей платформе Grantley, корпорация Intel предлагала специальный комплект A2U44X25NVMEDK для серверов 2U с корзиной на 8х 2,5” дисков из которых 4 места предназначались для NVMe SSD, но это было проприетарное нестандартное решение, без поддержки горячей замены и практическом отсутствии на ИТ рынке аппаратных RAID контроллеров с поддержкой PCIe NVMe. Лишь начиная с Intel Purley, NVMe SSD полноценно заняли свое место в дисковой подсистеме серверов, что позволяет уже сейчас воспользоваться всеми преимуществами от новейших технологий.

Для получения подробной информации, пожалуйста, обращайтесь в отдел продаж.

© Александр Матвеев, 2017 Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

 директор по развитию бизнеса ООО «Вист СПб»

 При перепечатке и использовании материала

 указание авторства (Александр Матвеев, 2017)

 и ссылки на источник (www.vist-spb.ru) обязательны.