Изменения

Особенность Ceph — Ceph — то, что вся запись (даже та, для которой никто этого явно не просит) ведётся транзакционно.

И в силу этого же полезно использовать либо SSD с энергонезависимым внутренним кэшем (называется «Расширенная защита от потери данных при отключении питания», в основном это «энтерпрайзные» модели, в данном тесте это Intel DC3500 и Intel 320), либо (гипотеза — гипотеза — как раз её и проверяем) подключение через RAID контроллер.

IOPS-ы при разных способах подключения различаются '''драматически''' (и упорото — упорото — по-разному). Ниже приведены некоторые результаты тестирования.

** RAID volume из одного диска. В этом случае доступны две настройки: внутренний кэш диска — диска — вкл/выкл и кэш контроллера — контроллера — вкл/выкл.** JBOD из одного диска. В этом случае доступна одна настройка: внутренний кэш диска — диска — вкл/выкл.* Через SATA контроллер обычной десктопной материнской платы. Доступна одна настройка: внутренний кэш диска — диска — вкл/выкл (через утилиту hdparm -W).

* Оптимальный способ подключения серверных SSD — SSD — SATA с выключенным кэшем (hdparm -W 0 /dev/sdX), либо SAS RAID контроллер с обоими отключенными кэшами (arcconf setcache 1 device 0 5 wt && arcconf setcache 1 logicaldrive 5 wt). SATA лучше, так как в этом случае поддерживается TRIM (хотя в нём серверные SSD и не нуждаются), а RAID-контроллер точно не может быть узким местом.* Оптимальный способ подключения дешёвых настольных SSD — SSD — SAS RAID контроллер с включённым кэшем диска и выключенным (write-through) кэшем RAID-контроллера.

* На дешёвых SSD при выключенном внутреннем кэше записи скорость '''не'''транзакционной записи сильно проседает, в итоге, даже если включить RAID-кэш — кэш — остаются тормоза, так как кэш не успевает сбрасываться на диск. Отсюда 1100 на X25 и 545s в режиме, когда включён только RAID-кэш.* Самая большая загадка — загадка — почему дешёвые SSD быстрые в режиме Write-Through (выключенного) RAID кэша при включенном внутреннем? Ответ может быть только один — один — в Write-Through («как бы отключённый»отключённом») режим режиме кэша контроллер тоже защищается батарейкой контроллераигнорирует запросы fsync. Остаётся только надеяться, что «Write-Through» фактически означает «записать в кэш, подтвердить запись и сразу передать на диск» — в этом случае при отключении питания данные всё-таки останутся в кэше и при следующем включении доедут до назначения. А вот если WT означает «пишем мимо кэша», то это просто отключение транзакционности и при отключении питания данные, скорее всего, повредятся.