13 529
правок
Изменения
Нет описания правки
== Картина маслом «Тормозящий кэш» ==
Дано: 3 компа с 3x 4x 7200rpm SATA HDD (в одном 4x HDD, но не суть важно), с 1 SSD (десктопным) под систему и ceph-mon и с 1 SSD (старым, но серверным, 25000 iops) под журналы. Не самая быстрая 10-гигабитная сеть — флуд пингом средний RTT (задержка) 0.098ms. Развёрнут Ceph + OpenNebula с KVM. Диски под Ceph отформатированы в Bluestore утилитой ceph-volume (то есть используется LVM). Диски виртуалок лежат в обычном реплицированном ceph pool с size=3.
Создаём Debian-виртуалку (настройки диска kvm по умолчанию — bus=virtio, cache=none), ставим fio, запускаем в ней тест на задержку транзакционной случайной записи: {{cmd|1=fio -ioengine=libaio -size=10G -sync=1 -direct=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=./testfile}} (или можно не случайной, тогда rw=write, но результат идентичный).
Виртуалку, в которой тестировал — даже не перезапускал между тестами.
=== Данные тестов ===
<tab sep="bar" class="wikitable" head="topleft">
Номер OSD | Кэш выкл | Кэш вкл | Модель диска | Номер модели
osd.0 | 308 | 226 | Seagate Constellation ES.2 | ST32000645NSosd.1 | 325 | 234 | Hitachi Ultrastar 7K3000 | HUA723020ALA640osd.2 | 1392 | 230 | Seagate Enterprise Capacity | ST8000NM0055osd.4 | 244 | 140 | Hitachi Ultrastar A7K2000 | HUA722020ALA330osd.5 | 185 | 154 | Hitachi Ultrastar A7K2000 | HUA722020ALA330osd.7 | 1129 | 253 | Seagate Enterprise Capacity | ST8000NM0055osd.9 | 315 | 184 | Hitachi Ultrastar 7K3000 | HUA723020ALA640osd.13 | 212 | 142 | Hitachi Ultrastar A7K2000 | HUA722020ALA330osd.3 | 386 | 241 | Hitachi Ultrastar 7K3000 | HUA723020ALA640osd.8 | 323 | 156 | Hitachi Ultrastar A7K2000 | HUA722020ALA330
osd.10 | 1319 | 273 | Seagate Enterprise Capacity | ST8000NM0055
osd.14 | 229 | 135 | Hitachi Ultrastar A7K2000 | HUA722020ALA330
</tab>