Изменения

Производительность Ceph

1665 байтов добавлено, 15:43, 7 марта 2019
Нет описания правки
'''Разгадка:''' в жёстких дисках HGST есть Media Cache — энергонезависимый кэш случайной записи прямо на пластинах. Включается он только при отключении обычного энергозависимого кэша. А блюстор при сбросе отложенной записи на диск блокирует последующие операции. Но сбрасывает он их всего лишь по 32 штуки, это очень мало, поэтому блокирует последующие операции он постоянно. Следовательно, когда включается медиакэш, HDD начинает рандомно писать сильно быстрее, и вот эти вот блокировки при сбросе уходят. Действует медиакэш, естественно, временно — когда он кончится, производительность случайной записи опять упадёт. Однако плюс в том, что в Ceph-е этого, скорее всего, не произойдёт, так как скорость случайной записи ограничивается, собственно, самим Ceph-ом и распределяется по всем дискам кластера :). Другие производители эту технику, кстати, уже тоже переняли.
 
=== Данные тестов ===
 
Более свежие тесты бенчилкой ceph-gobench на том же самом стенде. Версия Ceph Mimic 13.2.2, Bluestore, журналы на SSD (упс, обнаружилось, что на 2-х дисках из 12 не вынесены).
 
Кэш отключён
 
<pre>
osd.0 Avg iops: 308
osd.1 Avg iops: 75
osd.2 Avg iops: 1392
osd.4 Avg iops: 244
osd.5 Avg iops: 185
osd.7 Avg iops: 1129
osd.9 Avg iops: 315
osd.13 Avg iops: 212
osd.3 Avg iops: 77
osd.8 Avg iops: 323
osd.10 Avg iops: 1319
osd.14 Avg iops: 229
</pre>
 
Кэш включён
 
<pre>
osd.0 Avg iops: 226
osd.1 Avg iops: 77
osd.2 Avg iops: 230
osd.4 Avg iops: 140
osd.5 Avg iops: 154
osd.7 Avg iops: 253
osd.9 Avg iops: 184
osd.13 Avg iops: 142
osd.3 Avg iops: 80
osd.8 Avg iops: 156
osd.10 Avg iops: 273
osd.14 Avg iops: 135
</pre>
 
Модели дисков
 
<pre>
osd.0 Seagate Constellation ES.2 ST32000645NS
osd.1 Hitachi Ultrastar 7K3000 HUA723020ALA640 /* журнал не вынесен */
osd.2 Seagate Enterprise Capacity ST8000NM0055
osd.4 Hitachi Ultrastar A7K2000 HUA722020ALA330
osd.5 Hitachi Ultrastar A7K2000 HUA722020ALA330
osd.7 Seagate Enterprise Capacity ST8000NM0055
osd.9 Hitachi Ultrastar 7K3000 HUA723020ALA640
osd.13 Hitachi Ultrastar A7K2000 HUA722020ALA330
osd.3 Hitachi Ultrastar 7K3000 HUA723020ALA640 /* журнал не вынесен */
osd.8 Hitachi Ultrastar A7K2000 HUA722020ALA330
osd.10 Seagate Enterprise Capacity ST8000NM0055
osd.14 Hitachi Ultrastar A7K2000 HUA722020ALA330
</pre>
== Почему вообще Bluestore такой медленный? ==