13 521
правка
Изменения
Нет описания правки
== Картина маслом «Тормозящий кэш» ==
=== Серверные SSD ===
Disabling cache is not a joke!
<tt>fio -ioengine=libaio -name=test -filename=/dev/sdb -(sync|fsync)=1 -direct=1 -bs=(4k|4M) -iodepth=(1|32|128) -rw=(write|randwrite)</tt>, серверный SSD Micron 5100 Eco 960GB:
<tab sep="bar" head="top" class="wikitable">
sync или fsync | bs | iodepth | rw | hdparm -W 1 | hdparm -W 0
sync | 4k | 1 | write | 612 iops | 22200 iops
sync | 4k | 1 | randwrite | 612 iops | 22200 iops
sync | 4k | 32 | randwrite | 6430 iops | 59100 iops
sync | 4k | 128 | randwrite | 6503 iops | 59100 iops
sync | 4M | 32 | write | 469 MB/s | 485 MB/s
fsync | 4k | 1 | write | 659 iops | 25100 iops
fsync | 4k | 1 | randwrite | 671 iops | 25100 iops
fsync | 4k | 32 | randwrite | 695 iops | 59100 iops
fsync | 4k | 128 | randwrite | 701 iops | 59100 iops
fsync | 4M | 32 | write | 384 MB/s | 486 MB/s
</tab>
Результаты по чтению не отличаются на hdparm -W 0 и 1:
<tab sep="bar" head="top" class="wikitable">
bs | iodepth | rw | результат
4k | 1 | randread | 6000 iops
4k | 4 | randread | 12700 iops
4k | 4 | randread | 15900 iops
4k | 8 | randread | 18500 iops
4k | 16 | randread | 24800 iops
4k | 32 | randread | 37400 iops
4M | 1 | read | 460 MB/s
4M | 16 | read | 514 MB/s
</tab>
=== Ceph HDD+SSD ===
Дано: 3 компа с 4x 7200rpm SATA HDD, с 1 SSD (десктопным) под систему и ceph-mon и с 1 SSD (старым, но серверным, 25000 iops) под журналы. Не самая быстрая 10-гигабитная сеть — флуд пингом средний RTT (задержка) 0.098ms. Развёрнут Ceph + OpenNebula с KVM. Диски под Ceph отформатированы в Bluestore утилитой ceph-volume (то есть используется LVM). Диски виртуалок лежат в обычном реплицированном ceph pool с size=3.
# Однако, для обычных дисков без SSD-кэша отключение кэша тоже даёт выигрыш… есть гипотеза, что из-за того же тормоза с bluefs (проверю).
==== Данные тестов ====
Более свежие тесты бенчилкой ceph-gobench на том же самом стенде. Версия Ceph Mimic 13.2.2, Bluestore, журналы на SSD.