13 520
правок
Изменения
Нет описания правки
[[rupedia:Daemon|Демоны]] и около-демонические скрипты.
== [{{SVN|vitalif/trunk/scripts/rsync-timemachine.pl|co}} rsync-timemachine.pl] ==
Инкрементальные (на файловом уровне) бэкапы (типа «Time Machine») на основе [[rupedia:Rsync]], для любой unix-машины :) с небольшой дополнительной плюшкой — на Debian/Ubuntu дистрибутивах дампит и бэкапит MySQL-базы данных.
По месту назначения создаёт папочки с именами вида YYYY-MM-DD, названные в честь даты очередного бэкапа (текущей на момент запуска скрипта), и туда rsync’ом заливаются заданные директории.
'''А теперь Killer-Feature:''' используется опция <tt><nowiki>--link-dest</nowiki></tt> относительно последнего бэкапа, и они становятся инкрементальными! С этой опцией rsync сравнивает файл с предыдущей версией, и если он не менялся, создаёт [[rupedia:Жёсткая ссылка|жёсткую ссылку]] на неё. Таким образом дублирование файлов убирается на уровне ФС.
Чрезмерно старые бэкапы скрипт тоже удаляет сам — для этого ему нужно задать максимальный возраст бэкапа в днях. Всё, что старее, будет удаляться. Директории с именами, не равными дате в формате YYYY-MM-DD, скрипт не трогает, правда, если YYYY-MM-DD нет вообще, то бэкап будет сделан относительно не-YYYY-MM-DD-каталога.
На регулярность бэкапов скрипту пофигу — когда вызовешь, тогда и будет сделан очередной бэкап. Соответственно, задаётся регулярность просто включением скрипта в cron с нужным интервалом. Двойного одновременного запуска можно не бояться — скрипт отслеживает и его, с помощью pid-файла.
Синтаксис запуска: <tt><nowiki>perl rsync-timemachine.pl -s МЕСТО_НАЗНАЧЕНИЯ [-A 'ОПЦИИ_RSYNC'] [-k ВОЗРАСТ] [-p PID-ФАЙЛ] [-D ПРОПУСТИТЬ_БД] ДИРЕКТОРИИ...</nowiki></tt>
* МЕСТО_НАЗНАЧЕНИЯ в rsync’овском синтаксисе.
* ОПЦИИ_RSYNC — опции, которые нужно передавать во все вызовы rsync (например, <tt><nowiki>--password-file=/etc/rsync.secret</nowiki></tt>).
* ВОЗРАСТ — максимальный возраст бэкапа в днях. Если опцию не передавать — скрипт ничего не удаляет.
* PID-ФАЙЛ — даёт возможность (не шибко нужную, но мало ли) переопределить расположение pid-файла, равное по умолчанию <tt>/var/run/timemachine.pid</tt>.
* ДИРЕКТОРИИ — собственно, что бэкапим. Бэкапятся без полного пути, то есть например /var/backups/mysql попадёт по адресу МЕСТО_НАЗНАЧЕНИЯ/YYYY-MM-DD/mysql.
* ПРОПУСТИТЬ_БД — задаёт регулярное выражение для исключения баз данных из дампа.
{{SVN|vitalif/trunk/scripts/rsync-timemachine.pl|markup}}
== [{{SVN|vitalif/trunk/scripts/logautocommit.pl|co}} logautocommit.pl] ==
Опции:
<tab sep="tab||" class="wikitable" head="top">Формат 1 || Формат 2 || Описание || По умолчанию-a XXX || log=XXX || Путь к логу auditd || /var/log/audit/audit.log-d XXX || etcdir=XXX || Путь к версионируемой директории || /etc-w XXX || workdir=XXX || Путь к рабочей копии || /root/svn-etc-e XXX || exclude=XXX || Исключить изменения файлов с именами, подпадающими под регулярное выражение XXX || <nowiki>^/etc/(alternatives|rc\d?\.d)|(^|/)(\.#|mtab|ld\.so\.cache|adjtime|motd$)|\.dpkg-(new|dist)$|\.default$|/\.svn/</nowiki>-x XXX || exclude_exe=XXX || Исключить изменения, сделанные приложения с именами образа, подпадающими под регулярное выражение XXX || <nowiki>(^|/)dpkg$</nowiki>-l XXX || log_config=XXX || Использовать файл XXX как конфиг для логгера {{CPAN|Log::Log4perl}} || /etc/logautocommit-log4perl.conf-c XXX || chktime=XXX || Проверять изменения файлов через XXX секунд || 60-m XXX || comtime=XXX || Коммитить не чаще, чем в XXX секунд || 300-p XXX || polltime=XXX || Интервал спячки после прерванного блокировующего чтения || 0.5-b || background=1 || Уйти в фоновый режим после запуска || Да-f || background=0 || Не уходить в фоновый режим, полезно для отладки || Нет
</tab>
* FIXME: проверить, как скрипт работает с символическими ссылками.* FIXME: проверка того, что изменение сделано через dpkg, работает не до конца корректно и иногда коммитятся лишние файлы, не менявшиеся руками
Кроме содержимого /etc, полезно также версионировать списки установленных пакетов системного менеджера пакетов и скриптовых языков типа Perl, PHP, Python, Ruby — это проще всего сделать, добавив в крон скрипт со следующим содержимым:
Init-скрипт прилагается, по умолчанию выполняется под пользователем www-data и группой www-data, логи в /var/log/fastperl.log, сокет в /var/run/fastperl.socket, PID-файл в /var/run/fastperl.pid, без ограничения. Init-скрипт понимает /etc/default/fastperl с переменными:
* USER=user:group
* LOGFILE=
* SOCKET=
Простые полезные консольные команды, которых часто не хватает в UNIX-окружении.
== [{{SVN|vitalif/trunk/scripts/cpshift.c|co}} cpshift.c] ==
Простая C-программка для копирования кусков файлов. Нечто типа dd, но удобнее, потому что
* Не требует задавать смещения, кратные размеру буфера => простая задача «вытащить X байт из файла, начиная с Y» выполняется в ПИЦОТ раз быстрее, потому что используется большой буфер, а не dd bs=1.
* Поддерживает обратный порядок копирования => позволяет корректно перемещать данные внутри одного файла (например, разделы на диске!) ВПЕРЁД. Если имя входного файла равно имени выходного, то сама выбирает нужный порядок — вперёд или назад — по разнице смещений.
* Поддерживает отрицательные входные смещение и размер — тогда, как в substr в Perl/PHP, они считаются от конца входного файла.
* Понимает шестнадцатеричные и восьмеричные значения параметров — удобно, потому что не нужно обрамлять их в $(()) или конвертировать в десятичные значения.
* Печатает прогресс копирования в %.
Короче, может быть, оно и велосипед, но с первого взгляда я такой стандартной unix-тулы не нашёл, а dd, простите, дебилен.
Компилировать тривиально:
gcc -o cpshift cpshift.c
Использовать тоже просто, вот только опций поприбавилось :)
./cpshift [OPTIONS] infile [outfile]
* Копирует кусок файла 'infile' в 'outfile'.
* 'infile' может быть равен 'outfile', тогда данные перемещаются в одном файле.
* Никогда не обрезает длину выходного файла.
* Если 'outfile' не задан или равен '-', то данные копируются на STDOUT. 'infile' также может быть '-', в этом случае данные копируются из STDIN. Однако, эти потоки всё равно должны поддерживать позиционирование, что cpshift с ними работал.
* Все численные параметры могут быть десятичными (например, 256), шестнадцатеричными (0x1AB) или восьмеричными (0127).
Опции:
* --skip SKIP_BYTES — смещение от начала входного файла в байтах. Может быть отрицательным, и тогда считается от конца входного файла.
* --size SIZE_BYTES — максимальный размер копируемой области в байтах. Может быть отрицательным, и тогда копируется всё до позиции (размер_файла-SIZE_BYTES).
* --skip-output SKIP_IN_OUTPUT — смещение в выходном файле в байтах.
* --buffer BUFFER_SIZE — размер буфера (сколько байт копировать за раз). По умолчанию 1 Мб (0x100000 байт).
* --reverse — задаёт обратный порядок копирования. В принципе, опция нужна редко, так как если входной файл равен выходному, то нужный порядок выбирается на основе смещений автоматически.
=== English help ===
./cpshift [OPTIONS] infile [outfile]
* Copies part of 'infile' to 'outfile'.
* Never truncates the output file.
* 'infile' can be equal to 'outfile', then data is moved within one file.
* All numeric parameters may be decimal (256), hexadecimal (0x1AB) or octal (0127).
* '-' can be specified as 'infile' (means STDIN) or 'outfile' (means STDOUT). Note that it must be anyway seekable for cpshift to work with it.
Options:
* --skip SKIP_BYTES — skip to this position inside the input file. SKIP_BYTES can be negative; if so, it is counted from the end of input file.
* --size SIZE_BYTES — copy at most this count of bytes. SIZE_BYTES can be negative; if so, it means copy up to the (-SIZE_BYTES)'th byte from the end of input file.
* --skip-output SKIP_IN_OUTPUT — skip to this position inside the output file.
* --buffer BUFFER_SIZE — copy this count of bytes at once (default 1 MB = 0x100000 bytes).
* --reverse — use reverse copying order. In most cases you don’t need to set this manually because when you’re moving data within one file, the correct copying order is selected automatically based on offsets (reverse order is used when moving data forward, forward order is used when moving data backward).
== [{{SVN|vitalif/trunk/scripts/move-mdadm0.9.c|co}} move-mdadm0.9.c] ==
Простая утилита для перемещения mdadm’овского суперблока при изменении размера RAID-разделов. Лицензия: GNU GPL 3.0 или более поздняя, в том виде, в котором опубликована Фондом Свободного Программного Обеспечения.
Компиляция и использование:
gcc -o move-mdadm0.9 move-mdadm0.9.c
./move-mdadm0.9 device old_size_in_bytes new_size_in_bytes
Есть несколько версий суперблока mdadm — 0.90, 1.0, 1.1 и 1.2. Версии 1.1 и 1.2 располагаются в начале дискового раздела и поэтому не нуждаются в перемещении при изменении его размера; версии 0.90 и 1.0 суперблока, однако, располагаются в конце раздела и поэтому при изменении размера раздела их нужно перемещать.
Стандартный подход для этого — удалять диски из массива по одному, изменять их размер и добавлять обратно, опять-таки по одному. Это долго, так как требует синхронизации данных (resync) после добавления каждого диска. Только после завершения нескольких resync вы сможете запустить <tt><nowiki>mdadm --grow</nowiki></tt>.
Чтобы этого не делать и была написана данная утилита. С ней вы можете просто остановить массив (<tt><nowiki>mdadm --stop</nowiki></tt>), изменить размеры всех разделов, запустить {{cmd|./move-mdadm0.9 <раздел> <старый_размер_в_байтах> <новый_размер_в_байтах>}}
на каждом разделе и запустить массив обратно, после чего он будет сразу готов для выполнения команды <tt><nowiki>mdadm --grow</nowiki></tt>.
=== English help ===
Simple tool that allows to move mdadm v0.90 and v1.0 superblocks after resizing a device. License: GNU GPL 3.0 or later, as published by the Free Software Foundation.
Compiling and usage:
gcc -o move-mdadm0.9 move-mdadm0.9.c
./move-mdadm0.9 device old_size_in_bytes new_size_in_bytes
mdadm superblock is the metadata structure stored on devices/partitions participating in a software raid array. There are several versions of metadata format, namely v0.90, v1.0, v1.1 and v1.2. v1.1 and v1.2 superblocks are stored in the beginning and thus do not need moving when the raid partition is resized. However, v0.90 and v1.0 superblocks are stored in the end of the partition, so they need to be moved during resize, or mdadm won’t be able to find them.
The standard approach is to remove, resize and re-add disks from the array one by one, but it requires a resync after re-adding each disk, which takes a long time and is basically redundant. Only after all resyncs, you’ll be able to run <tt><nowiki>mdadm --grow</nowiki></tt>.
With this tool, you can just stop the array, resize all partitions, run {{cmd|./move-mdadm0.9 <device> <old_device_size_in_bytes> <new_device_size_in_bytes>}}
on each of them, start the array again and it will be immediately ready for
<tt><nowiki>mdadm --grow</nowiki></tt>.
== [{{SVN|vitalif/trunk/scripts/bindiff.c|markup}} bindiff.c] ==
Побайтно сравнивает два файла и печатает разницу между ними в шестнадцатеричном виде, в формате «адрес: старые_данные новые_данные» (точно такой формат использовался для патчей телефонов Siemens программой V_KLay):
<pre>
00C01582: 0145 0000
00C01587: 02 00
...
</pre>
Компилировать просто — {{cmd|gcc -o bindiff bindiff.c}}. Использовать так — {{cmd|./bindiff file1 file2}}.
* {{SVN|vitalif/trunk/scripts/bindiff.c}}
== fromto ==
* {{SVN|vitalif/trunk/scripts/fromto|markup}}
== intdu, intsort ==
«Интерактивный» консольный sort — не ждёт полного результата, а показывает последние LINES строк, обновляющиеся по каждой строке, полученной со стандартного ввода (LINES = `tput lines` = число строк в текущем окне терминала). Строки, «уходящие» назад за пределы окна терминала, отсортированными не являются и смотреть их не надо.
Применение: команда «intdu», интерактивно подсчитывающая размеры подпапок текущего каталога и показывающая вам LINES самых больших папок.
* {{SVN|vitalif/trunk/scripts/intdu|markup}}
* {{SVN|vitalif/trunk/scripts/intsort|markup}}
== whichpm ==
* {{SVN|vitalif/trunk/scripts/unzip.pl|markup}}
== convert-filenames ==
Скрипт для перекодирования имён файлов в каталоге из одной кодировки в другую. Сама Сам ничего не выполняет, только выводит на STDOUT список команд mv A B. Пример использования:
./convert-filenames /path/ cp1251 koi8-r | sh
== bashrc.any ==
Команды для переключения кодировок koi8, utf8, cp1251 в KDE Konsole из консоли, не прибегая к помощи менюшек. Версии для KDE [{{SVN|vitalif/trunk/scripts/bashrc.any?revision=706&view=|markup}} 4.x] и [{{SVN|http://svn.yourcmc.ru/viewvc.py/vitalif/trunk/scripts/bashrc.any?view=markup&revision=704&view=markup}} 3.x].
А команда yc вам не нужна, удаляйте её. :)
= Патчи и настройки Хелперы =
== [{{SVN|vitalif/trunk/scripts/GoogleSrchUIModcalc-mem.jspl|comarkup}} GoogleSrchUIModcalc-mem.jspl] ==
== Syntax = [{{SVN|vitalif/trunk/scripts/git-ff|markup}} git-ff] ===
== pgraph-dot ==
Использовать в каталоге Mercurial-репозитория следующим образом: <tt>pgraph-dot имяфайла.формат</tt>, где формат — один из поддерживаемых Graphviz форматов вывода (png, svg, dot и т. п.)
* [{{SVN|vitalif/trunk/scripts/pgraph-dot|markup}} Скачать pgraph-dot]
Пример такого графа:
* [http://svn.yourcmc.ru/viewvc.py/vitalif/trunk/scripts/sgold-note.pl?revision=748&view=markup sgold-note.pl]
== find-alisska.pl =Персонализация =