Изменения

Threadripper 2920X, NVMe Intel P4500, localhost. 1 OSD без репликации, 8 PG, чтобы не упираться в блокировки, 1 маленький RBD образ 10 Гб, localhost, NVMe Intel P4500.

Все результатыBluestore 4k — это min_alloc_size=4096 (4k запись идёт через redirect-write), естественно, примерные, и можно придумать ещё много кейсов тестирования, но и тут уже есть, о чём задуматься:Bluestore 16k — min_alloc_size=16384 (4k запись идёт через deferred).

| Filestore | Bluestore 16k | Bluestore 4k |bs=4M iodepth=16 rw=write | 250 950 MB/s | 1800 1700 MB/s | 1700 MB/s |bs=4M iodepth=16 rw=read | 600 1250 MB/s | 1300 MB/s | 1300 MB/s | После полной линейной перезаписи + drop_cachesbs=4M iodepth=16 rw=read | 496 1250 MB/s | 108 450 MB/s | 320 MB/s | После 3333 % случайной перезаписиблоком min_alloc_sizebs=4k iodepth=1 rw=randwrite | 4100 3900 iops | 3100 3200 iops | 2300 iops |bs=4k iodepth=128 rw=randwrite | 9100 19100 iops | 9400 19500 iops | После линейной перезаписиbs=4k iodepth=128 rw=randwrite | 8500 iops | 6600 25500 iops | После 33% случайной линейной перезаписиbs=4k iodepth=1 rw=randread | 3600 3900 iops | 4200 4500 iops | 4500 iops | После drop_caches и / перезапуска OSDbs=4k iodepth=1 rw=randread | 6200 6300 iops | 6600 4500 iops | 4500 iops | Прогретый кэшbs=4k iodepth=128 rw=randread | 5800 33000 iops | 8000 32000 iops | 33000 iops | После drop_caches и / перезапуска OSDbs=4k iodepth=128 rw=randread | 16100 iops | 18800 iops | Прогретый кэшRAM | 270 MB | 1 2 GB + |CPU randwrite Q=128 | 260 600 % | 193 550 % |