|
|
|
|
@ -53,6 +53,12 @@ |
|
|
|
|
to work. For example, Mellanox ConnectX-3 and older adapters don't have |
|
|
|
|
Implicit ODP, so they're unsupported by Vitastor. Run `ibv_devinfo -v` as |
|
|
|
|
root to list available RDMA devices and their features. |
|
|
|
|
|
|
|
|
|
Remember that you also have to configure your network switches if you use |
|
|
|
|
RoCE/RoCEv2, otherwise you may experience unstable performance. Refer to |
|
|
|
|
the manual of your network vendor for details about setting up the switch |
|
|
|
|
for RoCEv2 correctly. Usually it means setting up Lossless Ethernet with |
|
|
|
|
PFC (Priority Flow Control) and ECN (Explicit Congestion Notification). |
|
|
|
|
info_ru: | |
|
|
|
|
Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0"). |
|
|
|
|
Имейте в виду, что поддержка RDMA в Vitastor требует функций устройства |
|
|
|
|
@ -61,6 +67,13 @@ |
|
|
|
|
потому не поддерживаются в Vitastor. Запустите `ibv_devinfo -v` от имени |
|
|
|
|
суперпользователя, чтобы посмотреть список доступных RDMA-устройств, их |
|
|
|
|
параметры и возможности. |
|
|
|
|
|
|
|
|
|
Обратите внимание, что если вы используете RoCE/RoCEv2, вам также необходимо |
|
|
|
|
правильно настроить для него коммутаторы, иначе вы можете столкнуться с |
|
|
|
|
нестабильной производительностью. Подробную информацию о настройке |
|
|
|
|
коммутатора для RoCEv2 ищите в документации производителя. Обычно это |
|
|
|
|
подразумевает настройку сети без потерь на основе PFC (Priority Flow |
|
|
|
|
Control) и ECN (Explicit Congestion Notification). |
|
|
|
|
- name: rdma_port_num |
|
|
|
|
type: int |
|
|
|
|
default: 1 |
|
|
|
|
@ -114,26 +127,39 @@ |
|
|
|
|
так что менять этот параметр обычно не нужно. |
|
|
|
|
- name: rdma_max_msg |
|
|
|
|
type: int |
|
|
|
|
default: 1048576 |
|
|
|
|
default: 132096 |
|
|
|
|
info: Maximum size of a single RDMA send or receive operation in bytes. |
|
|
|
|
info_ru: Максимальный размер одной RDMA-операции отправки или приёма. |
|
|
|
|
- name: rdma_max_recv |
|
|
|
|
type: int |
|
|
|
|
default: 16 |
|
|
|
|
info: | |
|
|
|
|
Maximum number of RDMA receive buffers per connection (RDMA requires |
|
|
|
|
preallocated buffers to receive data). Each buffer is `rdma_max_msg` bytes |
|
|
|
|
in size. So this setting directly affects memory usage: a single Vitastor |
|
|
|
|
RDMA client uses `rdma_max_recv * rdma_max_msg * OSD_COUNT` bytes of memory. |
|
|
|
|
Default is roughly 2 MB * number of OSDs. |
|
|
|
|
info_ru: | |
|
|
|
|
Максимальное число буферов для RDMA-приёма данных на одно соединение |
|
|
|
|
(RDMA требует заранее выделенных буферов для приёма данных). Каждый буфер |
|
|
|
|
имеет размер `rdma_max_msg` байт. Таким образом, настройка прямо влияет на |
|
|
|
|
потребление памяти - один Vitastor-клиент с RDMA использует |
|
|
|
|
`rdma_max_recv * rdma_max_msg * ЧИСЛО_OSD` байт памяти, по умолчанию - |
|
|
|
|
примерно 2 МБ * число OSD. |
|
|
|
|
- name: rdma_max_send |
|
|
|
|
type: int |
|
|
|
|
default: 8 |
|
|
|
|
info: | |
|
|
|
|
Maximum number of parallel RDMA receive operations. Note that this number |
|
|
|
|
of receive buffers `rdma_max_msg` in size are allocated for each client, |
|
|
|
|
so this setting actually affects memory usage. This is because RDMA receive |
|
|
|
|
operations are (sadly) still not zero-copy in Vitastor. It may be fixed in |
|
|
|
|
later versions. |
|
|
|
|
info_ru: | |
|
|
|
|
Максимальное число параллельных RDMA-операций получения данных. Следует |
|
|
|
|
иметь в виду, что данное число буферов размером `rdma_max_msg` выделяется |
|
|
|
|
для каждого подключённого клиентского соединения, так что данная настройка |
|
|
|
|
влияет на потребление памяти. Это так потому, что RDMA-приём данных в |
|
|
|
|
Vitastor, увы, всё равно не является zero-copy, т.е. всё равно 1 раз |
|
|
|
|
копирует данные в памяти. Данная особенность, возможно, будет исправлена в |
|
|
|
|
более новых версиях Vitastor. |
|
|
|
|
Maximum number of outstanding RDMA send operations per connection. Should be |
|
|
|
|
less than `rdma_max_recv` so the receiving side doesn't run out of buffers. |
|
|
|
|
Doesn't affect memory usage - additional memory isn't allocated for send |
|
|
|
|
operations. |
|
|
|
|
info_ru: | |
|
|
|
|
Максимальное число RDMA-операций отправки, отправляемых в очередь одного |
|
|
|
|
соединения. Желательно, чтобы оно было меньше `rdma_max_recv`, чтобы |
|
|
|
|
у принимающей стороны в процессе работы не заканчивались буферы на приём. |
|
|
|
|
Не влияет на потребление памяти - дополнительная память на операции отправки |
|
|
|
|
не выделяется. |
|
|
|
|
- name: peer_connect_interval |
|
|
|
|
type: sec |
|
|
|
|
min: 1 |
|
|
|
|
|
