13 521
правка
Изменения
м
UPDПримечание: Поправка: <s>в чём микрон неправ — они не использовали SPDK и DPDK. Есть большая вероятностьPDF-ка по ссылке обновлена, новый результат с теми же тюнами, что в их случае выигрыш мог быть в несколько разниже, составил 479882 iops на запись и 2277453 iops на чтение.</s> НетСтарая [[:Media:Micron_9200_ceph_3.0_reference_architecture.pdf|тут]]. Что и подтверждает, это бессмысленночто разница между Micron 9200 и 9300 для Ceph незаметна.
Нет описания правки
Пример самолётного сетапа от Micron с процами по полляма (2x Xeon Platinum 8168), 2x100-гбит сетью (точнее 2x2x100, так как 2 карты по 2 порта) и 10x топовыми NVMe (с конденсаторами, ага) в каждом узле, 4 узла, репликация 2x: https://www.micron.com/resource-details/30c00464-e089-479c-8469-5ecb02cfe06f
Всего 350000 367011 iops на запись в пике на весь кластер, при 100 % загрузке CPU. Казалось бы, довольно много, но если поделить 350000/40 osd — получится 8750 9175 иопс на 1 osd. С учётом репликации на диски нагрузка двойная, выходит, 17500 18350 иопс. Ок, журналы тоже удваивают нагрузку, итого — 35000 36700 iops на запись смог выжать ceph из одной NVMe… которая сама по спеке может 260000 иопс в одиночку. Вот такой вот overhead.
Данных по задержкам в 1 поток нет (а было бы интересно узнать).
=== Апдейт ===