13 494
правки
Изменения
Нет описания правки
** Bluestore, видимо, за счёт параллелизма, выдаёт чуть больше iops-ов даже на SSD без конденсаторов, чем просто те же ssd могут выдать с fsync — я лично смог добиться от тестового пула на 3-х Intel SSDSC2KW256G8 8000 iops (случайная запись), хотя сами ssd с fsync выдают примерно 5500
** И обратно, даже если SSD мегабыстрая, цеф — это огромный оверхед, он жрёт проц и никаких 220000 iops из одной SSD не выжмет. См. ниже [[#Пример теста от Micron]] — там в суперкрутом сетапе у них вышло всего 8750 iops в пересчёте на 1 NVMe (но это у них без SPDK/DPDK).
* Правильное применение для всяких оптанов и супербыстрых NVMe этоМожно считать, видимо, журналы, но какое на практике увеличение что лимит iops-ов при добавлении условно оптана к тем же обычным серверным ssd — опять же, сходу не ясно.* Увеличение IOPSв пересчёте на одну SSD/NVMe находится на уровне ~10000-ов Ceph обычно сопровождается увеличением жора CPU15000. CPU нужны хорошие. :)** Примечание: лучше больше гигагерц, но меньше сокетов (Большой разницы между хорошей SATA SSD и возможно ядер, если они неравноправные)даже NVMe в цефе — нет.* Однопоточные IOPS-ы целиком и полностью зависят от задержекЕсли SATA SSD плохая — разница есть. Важно всё — диски, процессор, контроллер, сетевая карта, коммутатор, Infiniband и SPDK/DPDK по возможности. Да и сам Bluestore латентнее, чем Filestore… хотя:) плохим можно считать всё, что даёт меньше 20000 iops в один поток с другой стороны, разница — условных 280 или 350 iops на дисках, которые сами по себе могут на порядок-два больше, что, имхо, непринципиальноsync.* <s>Лайфхак для ускорения однопоточной нагрузки: mdadm RAID 0 из RBD-образов внутри самой виртуалки</s> — проверено, не работает.* Лайфхак для очень быстрых дисков: несколько OSD на одном дискедиске — работает, но ценой сильного увеличения жора CPU.* Гипотетический монстр производительности в вакууме: мощные процы, Intel NVMe, Infiniband или Intel сеть 25-40GbE+ Гбит/с или Infiniband, <s>SPDK/DPDK</s> (SPDK работает, но не даёт прироста, DPDK не работает вообще).
== Картина маслом «Тормозящий кэш» ==
