HPE ESXi Низька продуктивність дисків в кастомних образах HP

Преамбула: Не було у баби турботи, купила баба ... HP Microserver Gen8. 🙂

У роботі був старенький, але надійний, HP Microserver N40L. У роботі з 2012 року, в режимі 24/7. Працював під керівництвом ESXi 5.1. Крутилося на ньому парочка серверів 2003R2 (DNS і WEB). Така собі "інкапсуляція небезпечних напрямків". Просто, окремий, інформаційний web-серверок. Якщо "зламають" легко і швидко підняти з резервної копії і перезапустити. У загальну мережу цей сервер, не дивився, а підключався тільки на час оновлень контенту. Але час ішов і серверок ... "втомився".

Захотілося і DNS і WEB запустити, хоча б, на Windows Server 2008R2, а, в ідеалі, на Windows Server 2012R2. І став N40L гальмувати. Апаратних ресурсів у N40L замало. Процесор AMD Turion (™) II з частотою 1.5 GHz з архітектурою 2/2 і пам'яті більше 8 GB чи не поставити.

Розумію, що і HP Microserver Gen8 не панацея, але пам'яті можна поставити 16GB, а процесор взяти, наприклад, Intel® Xeon® E3-1220l, c частотою 2.3 / 3.5 GHz, з архітектурою 2/4 і наднизьким енергоспоживанням (приблизно 17-20Вт ). Якщо грошей не шкода, то можна поставити, наприклад, Intel® Xeon® E3-1270 з частотою 3.4 / 4.1 GHz, з архітектурою 4/8. Але тут вже не повинен дивувати той факт, що сам процесор коштує приблизно в 1.5 рази дорожче за все мікро сервера :-).

HP Microserver Gen8 це останній з мікро серверів від HP в якому

  • можна виробляти апгрейд
  • є iLO, що, погодьтеся, дуже зручно.

На жаль, Gen9 так і не побачив світ, а свіжий Gen10 це ... почитайте про нього самі і все зрозумієте 🙂

HP Microserver Gen8 вже не випускається, але купити ще можна. Що і було зроблено. Був куплений абсолютно нульова Gen8 (G2020T) на AVITO 🙂. Встановив на нього, з кастомними іміджу HPE, гипервизор ESXi 5.5U3. І все.

Ні не все. Саме з цього місця починається найцікавіше.

Встановлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso

Версія драйвера дисків: - scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820

Як з'ясувалося, HP щось зіпсували в драйвері дискової підсистеми для ESXi 5.5 і робота з дисками стала ... скажімо так, не дуже ефективною. Більш того, як з'ясувалося пізніше, така ж проблема існує і в Гіпервізор ESXi 6.0 / 6.5 від HPE.

Наскільки неефективне? Результати замірів в статті. Відразу скажу - приголомшуючі.

Поспілкувавшись зі знайомими і покопавши Інтернет було з'ясовано, що в усьому винна і правда, драйвер, який HPE включила в свій кастомний образ з монтажником гипервизора ESXi 5.5 і пізніших версій.

Але, рішення цієї проблеми є. Спільними зусиллями Інтернет-спільноти (https://homeservershow.com) був знайдений драйвер, який реально прискорює роботу з дисками в HP Microserver Gen8.

Версія драйвера: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820

Сам драйвер можна легально, безкоштовно і без реєстрації, скачати c сайту HPE:


https://support.hpe.com/hpsc/swd/... b1dfc5314e02bc01b1436b
Type: Driver - Storage Controller
Version: 5.5.0-88.0 (9 Sep 2014 року)
Operating System (s): VMware vSphere 5.5
File name: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib (707 KB)

Залишилося його встановити. Як це зробити, описано нижче.

В першу чергу перевіряємо версію встановленого драйвера і, якщо відрізняється, то замінюємо на правильний.

А) Заходимо в консоль ESXi хоста через PuTTY під ім'ям root і запускаємо команду

esxcli software vib list | grep scsi

Ось, що було у мене до зміни драйвера

~ # Esxcli software vib list | grep scsi


scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0.100-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10

Тобто. Не той. Чому? А ось, що показав тест продуктивності. Не те щоб тест, але з наведених команд видно, що тестується.

Виконуємо наступні команди з консолі ESXI:

cd / vmfs / volumes / [datastore]
time dd if = / dev / zero of = tempfile bs = 8k count = 1000000

Примітка: Не забудьте поміняти [datastore] на ім'я вашого реального DataStore.

Отримуємо результат:


1000000 + 0 records in
1000000 + 0 records out
real 14m 12.62s
user 0m 12.23s
sys 0m 0.00s

Начебто непогано, та?

Для порівняння, в тій же конфігурації, але з встановленим, ESXi 5.1U3 отримуємо приблизно наступне:


1000000 + 0 records in
1000000 + 0 records out
real 17m 25.62s
user 0m 7.23s
sys 0m 0.00s

Тобто, в наявності очевидне поліпшення в порівнянні з попередньою версією гипервизора. Але, вам доведеться повірити мені на слово, а потім подивитися на зовсім інший результат. Дочитайте до кінця.

Отже, приступаємо до зміни драйвера.

Процедура досить проста. Передбачається, що потрібний драйвер Ви вже завантажили з сайту HP, по наведений раніше посиланням.

  1. Зупиняємо всі запущені VMs
  2. Якщо не включено, включаємо ssh
  3. Копіюємо файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to / tmp (наприклад, за допомогою WinSCP)
  4. Підключаємося до консолі гипервизора ESXi за допомогою PuTTY (з правами root, природно)
  5. Міняємо поточну папку на ту, куди поклали файл, тобто на папку / tmp
    cd / tmp
  6. Копіюємо vib-файл в папку з якої він буде інстальований
    cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib / var / log / vmware /
  7. Переводимо гипервизор в Maintenance Mode
    esxcli system maintenanceMode set --enable true
  8. Видаляємо поточний драйвер дискової підсистеми
    esxcli software vib remove -n scsi-hpvsa -f
  9. Інсталюємо правильний драйвер scsi-hpvsa-5.5.0-88OEM з файлуesxcli software vib install -v file: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode
  10. Перезапускаємо ESXi, відключаємо Maintenance Mode, забороняємо ssh (якщо потрібно) і запускаємо свої віртуальні машинки.
ПриміткаВимкнути Maintenace Mode можна з клієнта або з консолі, командою:
esxcli system maintenanceMode set --enable false

Все просто? Да просто.

Але ж завжди хочеться переконатися, що автор не набрехав.

Перевіряємо, що версія драйвера змінилася.

esxcli software vib list | grep scsi


scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0-88OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10

Так. Змінилася на правильну.

А швидкість? Чи не обдурили? Перевіряємо! Що я і сам зробив. Запустив, повторно, тест продуктивності. Результат мене, м'яко кажучи, приголомшив

cd / vmfs / volumes / [datastore]
time dd if = / dev / zero of = tempfile bs = 8k count = 1000000


1000000 + 0 records in
1000000 + 0 records out
real 2m 6.73s
user 0m 5.21s
sys 0m 0.00s

Це в СІМ разів швидше, ніж з попереднім драйвером і майже в 9 разів швидше ніж на ESXI 5.1U3

На форумі користувачі підтвердили, що приблизно такий же, неправильний, драйвер встановлюється і при інсталяції ESXi 6.0 і 6.5. І заміна його на версію scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 призводить до такого ж прискоренню роботи дискової підсистеми.

завіса! По-моєму - це більш ніж переконливий аргумент на користь заміни драйвера.