Изменения

Задача: протестировать различные способы подключения SATA SSD (как потребительскихпроверить гипотезу, так и серверных) что дешёвые SSD без конденсаторов можно подключать к системе через RAID контроллер с батарейкой для получения приличных IOPS-ов в Ceph(хотя это и извращение). TL;DR: похоже, можно. IOPS-ы растут, а данные потерять не удалось. Но, конечно, это всё равно в некоторой мере стрельба в ногу, поэтому лучше просто купить недорогие Enterprise SSD с «advanced power loss protection» типа Micron 5100/5200. '''UPD: Предложенную идею официально считать дичью, делать так не надо.'''

И в силу этого же полезно нужно использовать либо SSD с энергонезависимым внутренним кэшем '''конденсаторами''' (называется точнее — суперконденсаторами, ионисторами). Конденсаторы — это самое важное отличие Enterprise SSD от дешёвых Desktop SSD и служат они для защиты внутреннего кэша записи при отключении питания. Когда отключается питание, заряда конденсаторов хватает, чтобы SSD успела сбросить недозаписанное содержимое кэша во флеш-память. Это даёт ей возможность игнорировать запросы синхронизации данных (fsync, SATA FLUSH CACHE) и таким образом на порядок-два повышать производительность '''транзакционной''' записи (разницу по IOPS можно видеть ниже). Конденсаторы называются «Расширенная защита от потери данных при отключении питания», в основном это «энтерпрайзные» модели, в / «Enhanced Power Loss Protection». В данном тесте это этой характеристикой обладают Intel DC3500 и Intel 320). …Но… Есть же в природе серверные RAID контроллеры, либо (гипотеза — как раз её и проверяем) подключение тоже с батарейками/конденсаторами, служащими ровно той же цели. Может быть, можно подключить SSD через RAID такой контроллер.и получить повышенную производительность?

Сразу скажем: IOPS-ы при разных способах подключения различаются '''драматически''' (и упорото — по-разному). Ниже приведены некоторые результаты тестированияместами довольно странно.

|bgcolor="#C0FFC0" |25000

|bgcolor="#D0D0FF" |9500|bgcolor="#C0FFC0" |26000|bgcolor="#FFC0C0" |5000|bgcolor="#C0FFC0" |21000

|bgcolor="#FFC0C0" |1100|bgcolor="#C0FFC0" |21000|bgcolor="#FFC0C0" |1100|bgcolor="#D0D0FF" |9000|bgcolor="#FFC0C0" |1100

|bgcolor="#FFC0C0" |1100

|bgcolor="#C0FFC0" |20000

|bgcolor="#C0FFC0" |20000

|bgcolor="#D0D0FF" |9500|bgcolor="#C0FFC0" |20000<ref>В JBOD тот же диск почему-то не снижает скорость — х.з почему.</ref>

|bgcolor="#FFC0C0" |1100|bgcolor="#C0FFC0" |33000|bgcolor="#FFC0C0" |1150|bgcolor="#D0D0FF" |9000|bgcolor="#FFC0C0" |1100

|bgcolor="#FFC0C0" |1100

== Выводы Примечания ==

* Оптимальный способ подключения серверных SSD — SATA с выключенным кэшем (hdparm -W 0 <references /dev/sdX), либо SAS RAID контроллер с обоими отключенными кэшами (arcconf setcache 1 device 0 5 wt && arcconf setcache 1 logicaldrive 5 wt). SATA лучше, так как в этом случае поддерживается TRIM (хотя в нём серверные SSD и не нуждаются).>* Оптимальный способ подключения дешёвых настольных SSD — SAS RAID контроллер с включённым кэшем диска и выключенным (write-through) кэшем RAID-контроллера.* При подключении через RAID контроллер и включении обоих кэшей записи IOPS-ы получается некоторая гарантированно неплохая скорость. «Гарантированная» в том смысле, что не сильно зависит от модели SSD, так как упирается в скорость работы самого контроллера.* Способа обеспечить нормальные IOPS-ы на запись с Ceph два:** Серверные SSD** RAID контроллер с конденсатором. Но желательна поддержка скорости SATA 12 GB/s и хотя бы 1 Гб кэша (в противном случае контроллер сам может стать узким местом)== Умозаключения ==

* На дешёвых SSD внутренний кэш записи помогает транзакционной записи, но не сильно. Отсюда 2600/800 на 545s и 5000 на X25. Либо, возможно, кроме волатильного кэша у них есть ещё и неволатильный (например, маленькая область SLC флеш памяти) и при отключении кэша отключаются оба, а при включении и fsync «отключается» только волатильный.* На дешёвых SSD при выключенном внутреннем кэше записи скорость '''не'''транзакционной записи очень сильно проседает(до скорости транзакционной), в итоге, даже если включить RAID-кэш — остаются тормоза, так как кэш не успевает сбрасываться на диск. Отсюда 1100 на X25 и 545s в режиме, когда включён только RAID-кэш.* Самая большая загадка — почему дешёвые SSD быстрые в режиме Write-Through (выключенного) RAID кэша при включенном внутреннем? Ответ может быть только один — в Write-Through («как бы отключённый»отключённом») режим режиме кэша RAID контроллер тоже защищается игнорирует запросы fsync. Остаётся только надеяться, что «Write-Through» фактически означает «записать в кэш, подтвердить запись и сразу передать на диск» — в этом случае при отключении питания данные всё-таки останутся в кэше и при следующем включении доедут до назначения. А вот если WT означает «пишем мимо кэша», то это просто отключение транзакционности и при отключении питания данные, скорее всего, повредятся. Чтобы проверить, как оно в реальности, проведены дополнительные тесты:** Простой тест записи пройден. Тест такой: пишем с максимальной скоростью 2 Гб, делаем fsync, выдёргиваем питание, включаем и проверяем, что все 2 гб записались.** Более сложный тест записи тоже пройден. Тест такой: запускаем на машине программу, который пишет по 1 случайному блоку в случайное место на диске, после каждой записи делает fsync и рапортует по сети второй машине, что только что записала. В процессе записи выдёргиваем питание, потом включаем обратно, копируем лог на тестируемую машину и проверяем, что все данные записались. По сути, программа изображает из себя СУБД, а проверка — то, что все закоммиченные транзакции записаны на диск. Скрипты, которыми тестировал: http://yourcmc.ru/git/vitalif/fsync-check** Вывод: по-видимому, Write-Through кэш тоже защищён батарейкой контроллера, а значит, RAID контроллеры можно использовать.

Примечания== Выводы == * Оптимальный способ подключения серверных SSD — SATA с выключенным кэшем (hdparm -W 0 /dev/sdX), либо SAS RAID контроллер с обоими отключенными кэшами (arcconf setcache 1 device 0 5 wt && arcconf setcache 1 logicaldrive 5 wt). SATA лучше, так как в этом случае поддерживается TRIM (хотя в нём серверные SSD и не нуждаются), а RAID-контроллер точно не может быть узким местом.* Оптимальный способ подключения дешёвых настольных SSD — SAS RAID контроллер с включённым кэшем диска и выключенным (write-through) кэшем RAID-контроллера.* При подключении через RAID контроллер и включении обоих кэшей записи получается некоторая гарантированно неплохая скорость. «Гарантированная» в том смысле, что не сильно зависит от модели SSD, так как упирается в скорость работы самого контроллера.* Способа обеспечить нормальные IOPS-ы на запись с Ceph два:<references ** '''Предпочтительный:''' Серверные SSD + SATA/NVMe подключение** RAID контроллер с конденсатором. Но желательна поддержка скорости SATA 12 GB/>s и хотя бы 1 Гб кэша (в противном случае контроллер сам может стать узким местом)