13 521
правка
Изменения
Нет описания правки
Ну а потом журнал просто потихоньку чистим. А у них так не получается — у них rocksdb, данные и метаданные в логически разных местах, а журналирование — фактически отдельная транзакция.
Вот простой эксперимент: «кластер» из 2 SSD, по 4 OSD на SSD. Делаю strace одной из 4-х osd на одной из двух SSD во время запуска теста fio в 1 поток на 60 секунд (на эту осд пришлось по perf counter-ам 2676 запроса2711 запросов):
<pre>
root@m2:~# grep -P 'io_submit.*= \d+$' osd0-trace.txt |wc 8997 99233 2173449root@m2:~# grep -P 'io_submit.*iov_len=4096.*= \d+$' osd0-trace.txt |wc 8997 99233 2173449root@m2:~# grep -P 'pwrite.*= \d+$' osd0-trace.txt | wc 6743 6832 62638 97570563379 1000565root@m2:~# grep -P 'sync.*= \d+$' osd0-trace.txt | wc 26912 27266 175625 1412944177045 1432838
root@m2:~# grep -P 'pwrite.*= 4096$' osd0-trace.txt |wc
root@m2:~# grep -P 'pwrite.*= 8192$' osd0-trace.txt |wc
root@m2:~# grep -P 'pwrite.*= 12288$' osd0-trace.txt |wc
root@m2:~# grep -P 'pwrite.*= 16384$' osd0-trace.txt |wc
</pre>
То есть эта тварь на 2676 запроса 2711 запросов записи сделала 6743 записи (15829 записей и ещё ладно), но при этом 26912 27266 (!!!) синков!(sync_file_range и fdatasync)
Из общего числа 1651 запись была 10706 записей были размером 4кб, 4921 — 4945 — 8кб, 167 — 168 — 12кб и 4 — 10 — 16кб. Итого Write Amplification = 1221.14!!!
== DPDK и SPDK ==