О чём рассказ

• GeeseFS — github.com/yandex-cloud/geesefs
• Самый быстрый S3-FUSE
• S3 — не ФС?!
• Как?
  • Как сделать ФС?
  • Как сделать ФС из S3?
• Что получилось
• Что ещё планируется

Зачем?

Мотивация

• S3 есть у всех
• S3 дешевле ФС и кросс-ДЦ
• ФС нужны (HPC и т.п.)
• Логичный вектор развития
  • ФС и S3 похожи
  • ФС → сетевая ФС ← S3
  • Можно ли преодолеть отличия?

Файл

Напильник

"Именованная последовательность байт"

Файловая система

Хранит файлы — ваш К.О.

S3

• Simple Storage Service — S³
• Amazon уже у всех
• Объектное хранилище
• Объект ≈ файл
• А в чём разница?..

S3 vs ФС

• Нет иерархии префикс + разделитель
• Слабая консистентность уже сильная
• Нет мутабельности Multipart Copy
• Нет атрибутов UserMetadata
• Нет переименования
• Великовата задержка (latency)
• Отличная масштабируемость (МБ/с)
• Для больших файлов — OK!

Конвергентная эволюция*

* или ежиная типизация? :)

Примеры от конкурентов

• Amazon
  • AWS Storage Gateway (аж 4: File, FSx, Volume, Tape)
  • Безумная прослойка на базе Java + NFS-Ganesha
• Azure (ADLSv2)
  • Иерархические NFS-бакеты, дозапись, NFS-Gateway
• Huawei/Сбер
  • Иерархические бакеты, дозапись
• Google
  • REST API с композицией объектов, gcsfuse

Тоже сделать Storage Gateway?

Юзерам нужен не шлюз хранилища, а само хранилище

Примеры юзкейсов S3-ФС

* бывает нужна частичная перезапись

POSIX-совместимость

POSIX-совместимость

POSIX ФС и атомарная запись

Видите её?

А её нет

Без fsync данные на диск не попадут

POSIX-совместимость

Почему S3-FUSE медленные?

* Если нет конденсаторов ↓

• POSIX ФС используют кэш и асинхронную запись
• Сами диски тоже асинхронны
  • SSD: 100000+ iops без fsync,
  • Но только 1000 iops* с fsync
• S3FS и т.п. — синхронны
  • Проход по иерархии a/b/c — 3 запроса
  • Вообще есть странности

Странности

• Полное скачивание обновляемого файла
• N+1 (1000001) запрос при листингах (s3fs)
• Игнор fsync (goofys)
• ≤ 1000 файлов при переименовании директории (goofys)
• Глючная оптимизация листингов (goofys)
• Зависающий кэш (rclone-mount)

Вывод: нужна своя реализация
с гусями и параллелизмом

Интерфейсы ФС

План реализации

• Берём goofys
• Отпиливаем рудименты
• Добавляем буферизацию
• Добавляем недостающие POSIX-фичи
• Тестируем
• Бенчим и оптимизируем
• Думаем о доработках сервиса :)

POSIX-совместимость

	GeeseFS	rclone	Goofys	S3FS	gcsfuse
Иерархия, переименование	+	+	+	+	+
Частичная перезапись	+
Чтение после записи	+			+	+
Truncate, запись за пределы	+			+	+
Переименование каталогов	+	+		+	+
Модификации при readdir	+	+		+	+
fsync	+			+	+
chmod/chown				+
Символические ссылки				+	+
Файлы сокетов, устройств
Установка mtime		+		+	+
xattr	+		+	+
Жёсткие ссылки, блокировки	нет

Оптимизации

	GeeseFS	rclone	Goofys	S3FS	gcsfuse
Параллельное упреждающее чтение	+		+	+
Параллельная отправка частей	+		+	+
Случайное чтение без упреждения	+		+		+
Копирование на сервере при дозаписи	+				+
Копирование на сервере при перезаписи	+
xattr без дополнительных запросов					+
Предзагрузка каталогов при поиске файла	+
Быстрые рекурсивные листинги	+				+
Асинхронная запись	+	+
Асинхронное удаление	+
Асинхронное переименование	+
Дисковый кэш для чтения	+			+	+
Дисковый кэш для записи	+			+

Эмуляция перезаписи

Эмуляция перезаписи

• CreateMPU → UploadPart{1,} → CompleteMPU
• Кэш ограничен — мы не rclone 😆
• Ограничения S3:
  • Части минимум 5 МБ
  • Читать до завершения нельзя
  • Обязательно (1..N), N ≤ 10000
  • Залил № X — должен залить и (1..X-1)*

Нужен PATCH

• Частичное обновление объекта
• Без "всего вот этого"
• И без лимита размера объекта
• Архитектурных препятствий нет
• Сделаем. Неизбежно :)

Другие доработки сервера?

• UserMetadata в ListObjects
• PATCH
• Переименование
• Удалённое обновление кэша (SQS?)
• Запатчить Ceph? 🤔

Тестирование ФС

• Производительность
  • cp -r, rm -r, dd :)
  • fio + libfio_fileserver
  • mdtest
  • compile bench
• Стабильность
  • xfstests (7, 11 — dirstress, fsstress)
  • pjdfstest
  • Тесты от goofys и собственные

Тесты

cp -r, rm -r

Время копирования и удаления 6500 мелких файлов (меньше — лучше)

mdtest

Тест от авторов JuiceFS — FUSE поверх Redis+S3 (оп/с)

Линейные скорости

• Рекорды, с железки с 25 Гбит/с сетью:
  • Запись — 1.6 Гбайт/с (32T * 25 Мб)
  • Чтение — 2.5 Гбайт/с

• Amazon:	GeeseFS	Goofys	S3FS
  Запись, блок 1 МБ	288 МБ/с	269 МБ/с	143 МБ/с
  Чтение, блок 1 МБ	252 МБ/с	226 МБ/с	201 МБ/с

• Как? → Параллелизм, «zerocopy» go-fuse

libfio_fileserver

Чтение с распределением 90:10/10:90

fio -name=test -ioengine=./libfio_fileserver.so -directory=/home/admin/s3/fileserver -chunk_size=128k -size=10G -direct=1 -bs=128k -rw=randread -iodepth=16 -runtime=60 -ramp_time=60 -random_distribution=zoned:90/10:10/90

* Диск ВМ — Amazon GP2 SSD 32 гб

Сборка ядра

I/O при сборке: 38k r/s (99.8% из кэша), ~200 w/s, ~165k meta/s

* Локальный днищецеф; после каждого шага перемонтирование

Статус