30 октября 2018 г.

Совместимость VMware ESXi/Windows Server и Adaptec 6805E

Приключилась какая-то неведомая хрень. Непонятным образом получилось, что корректно контроллер работал с 5.5 и 6.0, а в 6.5 и 6.7 вобще нет.Хотя по HCL всё поддерживается.Плюс погуглив и наткнувшись на пару тем конкретно на эту https://communities.vmware.com/thread/529182 и на пару рандомных блогов как-то подсел на измену.
Контроллер слегка уже не молодой, последняя прошивка от 2017 года.Поэтому решил убить время и проверить на всех более менее последних ветках. Устал всё сводить.

Без скриншотов. Просто выкладки.
Прошивка контроллера от 14 Aug 2017 Ver.5.3.0 Build 19204.Я обычно прошиваю на винде не используя консольную утилиту из комплекта прошивки, через Maxview.Совсем ранее делал через Adaptec Storage Manager.
Последняя прошивка обуславливается различными советами на тему траблшутинга. В целом пока не было случая прибивания контроллеров Adaptec неудачной перепрошивкой, если конечно питание не засбоило.

5.5 U3

Драйвер от 14 Aug 2017 Adaptec RAID Driver v1.2.1-52040 for VMware ESXi 5.5 and 6.0

esxcli software acceptance set --level=CommunitySupported

esxcli software vib install -v /vmfs/volumes/your_path/vmware-esxi-drivers-scsi-aacraid-550.5.2.1.52040.-1.5.5.1331820.x86_64.vib

Перезагружаемся reboot

Установка после, но можно заморочиться и собрать кастомный iso(ESXi-Customizer-PS/PowerCLI/VMware Image Builder), если ставите сразу на контроллер.Само собой в оф. образе 5.5 драйверов нет.

После установки драйвера, контроллер появляется в Storage Adapters как AACRAID.Тут кстати Microsemi чё-то намудрили с драйверами, потому что ранее насколько я помню из практики писалась именно модель контроллера,а не общее абстрагированное название.Далее соответственно можно разметить массив под VMFS.

Управление контроллером через maxView Storage Manager(GuestOS).

Стоит отметить такую тему, что не всегда билд maxView Storage Manager бывает адекватен.Ну например из встреченных ошибок.Всё поставил, но в консоль управления по логинам и паролям не пускает, хотя делается всё по документации и правильно.

http://pyatilistnik.org/login-failed-internal-error-occurred-v-maxview-storage-manager/

Последний билд от 17 Oct 2017 maxView Storage Manager v2.05.22932 не валидный.Проблема допуска в консоль.Для esxi 5.5 есть только vmware-esx-provider-arc-cim-provider.vib, а vmware-esx-provider-arcconf.vib нет.Для 6.0 присутствуют оба vib.

Взял билд ниже версии 2.03.22476, там оба vib в наличии.

Установка по http://download.adaptec.com/pdfs/user_guides/msm_arc_v2_02_22404_users_guide.pdf со страницы документации к модели контроллера.

3.6.1 Installing on VMware

Проверяем наличие предыдущих версий

esxcli software vib list | grep arcconf
Если находим, то удаляем
esxcli software vib remove -n arcconf

esxcli software vib list | grep arc-cim-provider
Если находим, то удаляем
esxcli software vib remove -n arc-cim-provider

/etc/init.d/./sfcbd-watchdog stop

esxcli software vib install --no-sig-check -v /vmfs/volumes/your_path/vmware-esx-provider-arcconf.vib

Adaptec_bootbank_arcconf_2.03-22476

esxcli software vib install --no-sig-check -v /vmfs/volumes/your_path/vmware-esx-provider-arc-cim-provider.vib

Adaptec_bootbank_arc-cim-provider_2.03-22476

Перезагружаемся reboot

На самом деле можно ставить всё сразу однократной перезагрузки: драйвер, потом arcconf и arc-cim-provider.

3.7.1 Installing on a Guest Operating System

msm_vmware_v2_03_22476\guest_os\windows_x64\Setup_maxView_GOS_x64.exe

В качестве гостевой системы Windows Server 2012 R2 x64

При установке используем креды к ESXi и по ним же попадаем в консоль maxView Storage Manager.

Рабочая связка для 5.5 U3
Прошивка контроллера Ver.5.3.0 Build 19204 от 14 Aug 2017
Драйвер контроллера для ESXi v1.2.1-52040 от 14 Aug 2017
Arcconf и Arc-Cim-Provider из состава maxView Storage Manager 2.03.22476 оба версии 2.03-22476 от 30 Jan 2017
Сам maxView Storage Manager для гостевой ос 2.03.22476, также работает для гостевой 2.05.22932, с Arcconf и Arc-Cim-Provider взятыми от 2.03.22476
Гостевая ОС Windows Server 2012 R2 x64.

Вывод команд по драйверу и провайдерам.
esxcli software vib list | grep "aac\|arc"

6.0 U3

Порядок всё тот же что и для 5.5 U3.

Рабочая связка для 6.0 U3
Прошивка контроллера Ver.5.3.0 Build 19204 от 14 Aug 2017
Драйвер контроллера для ESXi v1.2.1-52040 от 14 Aug 2017
Arcconf и Arc-Cim-Provider из состава maxView Storage Manager 2.05.22932 оба версии 2.05.22932 от 17 Oct 2017
Сам maxView Storage Manager для гостевой ос 2.05.22932
Гостевая ОС Windows Server 2012 R2 x64.

Вывод команд по драйверу и провайдерам.
esxcli software vib list | grep "aac\|arc"

6.5 U2

Порядок всё тот же что и для 5.5 U3.

Так как конкретных vib для 6.5 нет, то берём все компоненты под ESXi 6.0

Рабочая связка для 6.5 U2
Прошивка контроллера Ver.5.3.0 Build 19204 от 14 Aug 2017
Драйвер контроллера для ESXi v1.2.1-52040 от 14 Aug 2017
Arcconf и Arc-Cim-Provider из состава maxView Storage Manager 2.05.22932 оба версии 2.05.22932 от 17 Oct 2017
Сам maxView Storage Manager для гостевой ос 2.05.22932
Гостевая ОС Windows Server 2012 R2 x64

Интересный момент.Так как все действия проводились последовательно относительно версий гипервизора, то в 5.5 U3 на Adaptec висит массив raid 1 c двух дисков.На нём размечено vmfs-5 и соответственно хранилище.При переходе с 5.5U3 чистой установкой на 6.0U3+драйвера контроллера, хранилище автоматически монтируется.Но с 6.0U3 на 6.5 U2 чистой установкой+драйвера контроллера, хранилище не монтируется.Приходится очищать таблицу разделов и размечать vmfs по новой.

Вывод команд по драйверу и провайдерам.
esxcli software vib list | grep "aac\|arc"

6.7/6.7U1 Rollup 

Если с вышеописанными билдами всё понятно.То на 6.7 полный набор.maxView Storage Manager не хочет логиниться в консоль.Невалидные билды вобще все.

В целом можно попробовать забить на проблемы с maxView Storage Manager и пользоваться arcconf, но совет так себе

CLI MANUAL
http://download.adaptec.com/pdfs/user_guides/cli_arc_v2_05_22932_users_guide.pdf

ARCCONF GETCONFIG

./opt/pmc/arcconf GETCONFIG 1

arcconf SETVMCREDENTIAL ip-esxi 5989 root 'yourpassword'

С maxView Storage Manager перебираем варианты.Тут такой момент, что maxView Storage Manager идёт в виде: консоль под ос и vib для esxi.Соответственно вряд ли имеет смысл комбинировать консоль разных версий и vib разных версий.Тем более их обратная совместимость ниже выше версий не известна.Неизменным оставляем лишь драйвер на контроллер.  

Подобрать валидную рабочую связку не удалось.

На 6.7 U1 Rollup круто, что контроллер видится сказу с установщика последними драйверами.
Чтобы поставить Arcconf и Arc-Cim-Provider нужно поудалять ненужные драйвера из-да проблемы:

[InstallationError]
The pending transaction requires 244 MB free space, however the maximum supported size is 239 MB.Please refer to the log file for more details.

Непонятно, когда VMware придёт к расширению этих двух разделов на больший размер.В Citrix насколько я помню два раздела по 16 гб. Хотя можно проникнуться темой минимализма гипервизора.

df -h | grep vfat

esxcli software vib list

Каскадное удаление vib.Удалить нужно много.В районе 20+ с последующей перезагрузкой.

esxcli software vib remove -n net-cxgb4 -n scsi-csiostor -n net-enic -n scsi-fnic 

Общее по VMware

При установке драйверов стоит обратить внимание на вкладки в UI.

Storage - Adapters - vmhba%number% Model AACRAID
Storage - Devices - Local Adaptec Disk

Если нет vmhba и Local Adaptec Disk, то явно что-то нет так.Конечно же за исключением ситуации, когда на контроллере не собран массив.
При дефолтной установке чистых не кастомизированных образов даже с драйверами Adaptec от VMware там будет чисто.Так как драйвера не предполагают наличие контроллера с последней прошивкой Ver.5.3.0 Build 19204 от 14 Aug 2017.

Windows Server 2008R2-2019

Здесь всё проще в разы.В составе образов Windows Server идут драйвера Adaptec.И контроллер по умолчанию видится, если прошивка не Ver.5.3.0 Build 19204 от 14 Aug 2017.За видимость без дополнительных драйверов могу сказать за Ver. 5.2.0 Build 19176 и 2012R2-2019.За 2008R2 не скажу, ещё не слишком олдово, но уже.

Если прошивка контроллера Ver.5.3.0 Build 19204 от 14 Aug 2017, то при установке на массив потребуется загрузка драйверов, например с флешки для соответствующей версии со страницы контроллера https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-6805e/ на шаге разметки диска.Для 2019 можно брать от 2016.

Тоже самое при установке на диски вне контроллера и обновлении прошивки до Ver.5.3.0 Build 19204.С дефолтными драйверами в диспетчере устройств будет знак предупреждения о невозможности запуска устройства.Обновляем драйвер на последний.

maxView Storage Manager v2.05.22932 for Windows x64 17 Oct 2017 можно ставить.Вход в консоль maxView Storage Manager по логину и паролю Windows.Русские имена поддерживаются.

Заключение

В HCL всё правильно.В целом можно проникнуться поддержкой как со стороны производителя, так и софта.Примерно 6-7 лет железке.Трудно судить срок ли это для серверного железа.
Потенциально написанное выше работает с другими контроллерами Adaptec из HCL, но могут быть noname особенности.По крайней мере ситуации могут быть такими же.

4 комментария:

  1. в 6.7u1 какие версии нужны чтоб хотя бы локальный arcconf работал?

    ОтветитьУдалить
  2. В 6.7u3 для 6805 работает такая связка:
    Прошивка Ver.5.3.0 Build 19204 от 14 Aug 2017
    Драйвер ESXi v1.2.1-52040 от 14 Aug 2017
    Arcconf-3.04-23699 и Arc-Cim-Provider-3.04-23699 из состава maxView Storage Manager v3.07.23850 от 11 Jan 2021
    И сам maxView Storage Manager v3.07.23850 от 11 Jan 2021, можно поставить и на гостевую.
    Может кому-то будет еще актуально.

    ОтветитьУдалить
  3. Автору глубокий респект!
    Добавлю свои "пять копеек". Может кому то пригодится.

    Adaptec 6805 c firmware 5.3-0[19204].
    Прошивка последняя.

    VMware ESXi, 6.5.0, 8294253 не видит RAID контроллер c этой прошивкой.
    Пришлось собирать кастомный ISO

    Ссылка на драйвер под данную версию ESXi и конкретную прошивку имеется на VMware Hardware Compatibility Guide (HCL)
    https://my.vmware.com/web/vmware/details?downloadGroup=DT-ESXI60-ADAPTEC-SAS-AACRAID-12152040&productId=491

    VIB файл складывается в каталог .\Adaptec\VIB\
    Запускаем ESXi-Customizer-PS с параметром -sip чтобы выбрать конкретную версию.
    Мне была нужна именно версия 6.5.0, 8294253 (U2) потому что в 6.5.0 U3 сломали драйвер к бортовой сетевой карте Intel 82576 на материнке X8DTU-8.

    .\ESXi-Customizer-PS.ps1 -sip -pkgDir .\Adaptec\VIB\
    из предлагаемого списка выбрал "201 : ESXi-6.5.0-20180502001-standard"

    С полученного образа инсталляция проходит нормально. RAID видится.

    ОтветитьУдалить