SockPQd - Клиентский интерфейс PQD-Facade

Материал из YourcmcWiki
Версия от 22:44, 29 августа 2009; VitaliyFilippov (обсуждение | вклад) (Новая: sockPQd - гибкий, высокопроизводительный, мультиплексирующий ...)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Короткая ссылка: PQD-Facade

sockPQd - гибкий, высокопроизводительный, мультиплексирующий диспетчер очередей с приоритетами с поддержкой отказоустойчивости. За документацией по самому sockPQd вы можете обратиться к perldoc для PQD::Daemon.

PQD::Facade предоставляет клиентский интерфейс к серверам sockPQd, и поддерживает практически полный спектр возможностей, включая резервирование и опциональное логгирование через Log::Log4perl.

Пример

use PQD::Facade;
use Log::Log4perl; # OPTIONAL
 
my $pqd = PQD::Facade->new(
    servers => [ [ "server1.local", 11361 ], [ "server2.local", 11361 ] ],
    timeout => 5,
    logger  => get_logger("PQD.Facade.Log.Path"), # OPTIONAL
);
 
my $job = $pqd->retry(sub { $pqd->get(
    blocking => 1,
    expire   => 300,
    then     => 'later',
) } );
 
$pqd->retry(sub { $pqd->put(
    queue    => "test",
    data     => [ { key1 => "value1", key2 => "value2" }, "abc" ],
    priority => 1,
    new_item => 1,
) } );
 
$pqd->retry(sub { $job->done });

Методы

Ниже описаны методы PQD::Facade.

$pqd = PQD::Facade->new(%params)

Конструктор объекта соединения с кластером sockPQd (возможно, состоящим из всего лишь одного сервера). Сразу пробует соединиться со всеми серверами кластера и выбрать из них сервер с минимальным ID; если соединение ни с одним из серверов не удаётся и не был передан параметр nonfatal, возвращает undef. Параметры принимает в хеше, вот их список:

  • servers Ссылка на массив двухэлементных массивов, первый элемент которых - адрес (IP или DNS-адрес), а второй - порт сервера. В этом массиве обязательно должны быть перечислены все сервера вашего кластера, т.к. резервирование осуществляет именно клиентская библиотека. Параметр является обязательным.
  • timeout Значение времени ожидания для лежащих в основе TCP/IP соединений.
  • nonfatal Если передан этот параметр с истинным значением, то неудача соединения со всеми серверами кластера во время создания объекта не ведёт к возвращению undef - объект всё-таки создаётся, но в отключённом состоянии.
  • logger Логгер Log4perl-а, полученный произвольными средствами. Если этот параметр задан, в переданный логгер будут направляться различные сообщения от объекта.
  • post_connect Ссылка на функцию, которую следует вызывать после каждого переподключения к какому-либо серверу. Первым параметром ей в таких случаях передаётся объект соединения $self.

$pqd->retry($coderef)

Метод для осуществления бесконечного цикла попыток выполнения переданной функции $coderef с ожиданием возвращения ей не-undef значения, и переподключением после каждой попытки. Все функции объекта соединения и объектов заданий возвращают undef в случае, если происходит ошибка передачи данных между сервером и клиентом, поэтому метод retry совместим со всеми ними. Основное предполагаемое использование - "обрамление" вызовов этих методов в $pqd->retry с помощью использования анонимных функций, например: $pqd->retry(sub { $job->done });

$job = $pqd->get(%params)

Метод получения задания из очереди. Возвращает undef в случае ошибки, 0 в случае пустой очереди и неблокирующего режима, и объект задания PQD::Facade::Job в случае успешного получения заданий. Параметры принимает в хеше, вот их список:

  • queue Имя очереди или несколько имён очередей, перечисленных через символ '|', из одной из которых нужно получить задание. Имя каждой очереди может содержать только символы [a-zA-Z0-9_]. Параметр необязательный, без его указания выборка идёт из произвольной очереди.
  • blocking Истинное значение данного параметра делает операцию блокирующей - в случае отсутствия подходящих заданий вызывающий поток блокируется до момента появления хотя бы одного такого задания.
  • empty Истинное значение параметра empty вместе с blocking изменяет поведения блокирования - вызывающий поток разблокируется также в случае полного опустошения выбранной очереди.
  • expire Целое положительное число, специальный параметр, говорящий о том, что если через expire секунд sockPQd не поступит информация о том, что задание либо успешно выполнено ($job->done), либо успешно провалено ($job->later), его следует либо заново поставить в очередь, либо просто удалить.
  • then Какой конкретно вариант поведения expire будет использован, зависит от параметра then и режима, в котором работает сервер sockPQd. Если параметр then указан и равен 'done', задания будут удаляться. Если параметр then указан и равен 'later', задания будут ставиться в очередь заново. Если параметр then не указан, поведение зависит от параметров сервера - по умолчанию это перепостановка заданий в очередь, но при запуске сервера можно указать и обратное поведение.

$pqd->put(%params)

Метод добавления задания в очередь. Параметры принимает в хеше, вот их список:

  • queue Имя очереди, к которой относится задание. Может состоять из символов [a-zA-Z0-9_].
  • priority Приоритет задания - любое целое число. Задания, имеющие больший приоритет, попадают в начало своей очереди.
  • data Данные задания - любое значение. Скаляры передаются, как есть, прочие структуры данных сериализуются и десериализуются с помощью функций Storable (nfreeze и thaw).
  • item ID "элемента" задания. Как можно прочитать в документации, sockPQd может следить за выполнение групп заданий, и передача значения item и есть способ отнесения задания к группе с ID = item. ID может состоять им символов [a-zA-Z0-9_].
  • new_item Истинное значение данного параметра говорит о том, что sockPQd должен сгенерировать уникальный ID группы заданий на своё усмотрение, отнести задание к этой группе и сообщить сгенерированный ID нам - в случае успеха возвращаемое методом put значение будет равняться этому новому ID.
  • wait Специальный параметр, говорящий о том, что сразу после добавления задания в очередь queue нужно заблокировать наш поток в ожидании появления задания с таким же ID (переданным через item или сгенерированным через new_item) в другой очереди с именем, равным значению параметра wait. Важно то, что совокупность двух операций - добавления и ожидания задания - в данном случае выполняется атомарно. При указании параметра wait обязательным становится указание одного из параметром item или new_item. Соответственно, при успехе в этом случае put возвращает объект задания.
    Параметр wait несовместим с параметрами pipe и at.
  • expire Использование expire возможно только при заданном параметре wait, и аналогично параметру wait в методе get (см.выше).
  • then Использование then возможно только при заданных параметрах wait и expire, и аналогично параметру then в методе get (см.выше).
  • pipe Истинное значение данного параметра говорит о том, что задание следует на самом деле трактовать как событие. А в чём разница, спросите вы. Разница в том, что произошедшее событие при отсутствии ожидающих его клиентов удаляется, а не помещается в очередь - так и здесь: если такое задание не попадёт ни одному из клиентов сразу же, оно удаляется.
    Параметр pipe несовместим с параметрами at и wait.
  • at Специальный параметр, UNIX время отложенного запуска задания (должно быть больше текущего системного UNIX времени). Клиентская библиотека осуществляет отложенный запуск заданий прозрачно для разработчика с использованием двух соединений с одним и тем же сервером и приёма, описанного в документации PQD::Daemon - одно соединение добавляет задание, а второе ожидает его получения с параметром expire, равным разности at и текущего системного времени, сразу получает и игнорирует это задание.
    Параметр at несовместим с параметрами pipe и wait.

$pqd->totals($queue)

Получение статистики по всем очередям в случае $queue=undef или только по очереди $queue, если этот параметр задан. В списочном контексте возвращает массив из 4 целых чисел - количества очередей, количества приоритетов, количества заданий в очередях и количества "выполняющихся" (полученных с помощью get(), но ещё не завершённых с помощью done() или later()) заданий. В скалярном контексте возвращает число, равное сумме 3-его и 4-ого элементов вышеописанного массива.

$pqd->runlist($queue, $data)

Получает список всех выполняющих на данный момент заданий из всех очередей или только очереди $queue, без самих данных заданий в случае ложного значения $data, и с данными в случае истинного значения $data. В случае ошибки возвращает undef, в случае успеха - ссылку на массив хешей. Элементами хешей являются:

  • rid ID выполняющегося задания.
  • queue Очередь, из которой задание было извлечено для выполнения.
  • item ID группы заданий, к которой оно относится, или undef, если задание не относится ни к одной группе заданий.
  • priority Исходный приоритет задания.
  • expire UNIX время, означающее момент, в который задание будет "просрочено" - удалено или поставлено в очередь заново.
  • data_len и data Длина данных и сами данные в сыром виде, соответственно. Только в случае, если значение параметра метода $data было истинно.

$pqd->backup($file)

Переводит сервер в оффлайн-режим и сохраняет его текущее состояние в файл $file.

$pqd->restore($file)

Восстанавливает состояние сервера из файла $file и переводит его в онлайн-режим.

$pqd->shutdown

Останавливает сервер.

PQD::Facade::Job

Ниже перечислены методы и поля объекта задания - PQD::Facade::Job. Объект являет собой хеш, в котором можно найти следующие элементы:

  • rid ID выполняющегося задания.
  • queue Очередь, из которой было получено задание.
  • item ID группы заданий, к которой оно относится, или undef, если задание не относится ни к одной группе заданий.
  • priority Исходный приоритет задания.
  • expire UNIX время, означающее момент, в который задание будет "просрочено" - удалено или поставлено в очередь заново.
  • data Десериализованные данные задания.
  • sockd Объект соединения, к которому относится задание.
  • finq Только после успешного выполнения $job->done - если finq содержит истинное значение, это значит, что задание было последним в своей очереди, и больше в ней нет ни выполняющихся, ни ожидающих получения заданий.
  • fini Только после успешного выполнения $job->done - если fini содержит истинное значение, это значит, что задание было последним в своей группе заданий, и больше в ней нет ни выполняющихся, ни ожидающих получения заданий.

Далее перечислены методы объекта задания. Их немного:

$job->done

Сообщить об успешном выполнении задания серверу sockPQd. При успехе функция возвращает истинное значение, а задание удаляется из списка выполняемых на сервере. В принципе, истинные возвращаемые значения также дают вторую возможность отслеживания параметров finq и fini - если $job->done вернуло значение 1, значит, задание просто выполнено, если 2, то fini истинно, если 3, то finq истинно, а если 4, истинны и finq, и fini. При возникновении ошибки соединения возвращается undef.

$job->later

Сообщить о проваленном задании серверу sockPQd - это означает, что при успехе функция вернёт истинное значение, а задание будет удалено из списка выполненных на сервере, но одновременно будет добавлено обратно в конец очереди, из которой было получено изначально.

$job->requeue

Добавить задание в очередь вызовом $kob->{sockd}->put(). Ключевой момент в том, что перед вызовом данного метода можно модифицировать элементы хеша $job - например, очередь, приоритет, данные задания... Что даёт возможность добавления "похожих" заданий.

Источник — «https://yourcmc.ru/wiki/index.php?title=SockPQd_-_Клиентский_интерфейс_PQD-Facade&oldid=1156»