Logging системы INN.

Copyright (C) by Yuri V. Savin, 1998. E-Mail: msav@kari.ru

Итак, конфигурационные файлы отредактированы, система INN не обнаружила в них синтаксических ошибок, из cron'а вызываются периодические процессы системы INN, демон innd запущен. Естественное желание - убедиться, что все работает корректно. К счастью, система INN достаточно дружественная и извещает нас о своей работе (либо об ошибках, в результате которых она работать не может), используя стандартную в Unix-систему регистрации syslog. Кроме того, система INN поставляется с рядом сценариев, обобщающих информацию в log-файлах (и не только в них) и выводящих их в приятном для чтения виде. Наконец, обобщенная статистика может ежедневно отправляться по e-mail администратору сервера новостей. Об этом здесь и пойдет речь.

Посмотрев конфигурациооный файл /etc/syslog.confдемона syslogd, мы увидим куда идут данные регистрации ситемы INN. Напомню, что во время инсталляции INN мы раскомментировали в этом файле строки:


        news.crit       /var/log/news/news.crit
        news.err        /var/log/news/news.err
        news.notice     /var/log/news/news.notice

Затем создали соответствующие файлы (их владелец - news, группа - news) и перезапустили демон syslogd.

Наиболее разрастающийся из них - news.notice. Cюда пишет innd о соединении с ним удаленных NNTP-хостов, демон nnrpd записывает сюда информацию об активности клиентов, в этом же файле информируют о своей работе программы ctlinnd, innxmit, rnews и др.

Файл news.crit содержит сообщения о критических ошибках, требующих внимания от администратора сервера новостей. (Например, сервер INN не может открыть файл из-за неверных прав доступа; или здесь появится сообщение о гашении сервера с помощью ctlinnd и т.д.).

Файл news.err содержит сообщения о фатальных ошибках сервера. Вообще говоря трудно провести четкую границу между информацией об ошибках, записываемых в news.crit и news.err. (Syslogd зачастую записывает одинаковую информацию в оба файла).

Система INN имеет помимо log-файлов, поддерживаемых системой syslog, встроенные log-файлы - errlog и news (по-умолчанию они расположены в каталоге /var/log/news).

Файл errlog содержит стандартный вывод и стандартные ошибки любых программ, порождаемых демоном innd. В частности, при перезагрузке операционной системы в этом файле появится следующая строка:
INND exiting because of signal

Файл newsрегистрирует все статьи, поступающие к innd для обработки. Строки в этом файле имеют следующий формат:


        mon dd hh:mm:ss.mmm flag feed Message-ID [reason]  size site ...

Первые три поля определяют дату поступления (с точностью до миллисекунд) статьи к демону innd. Следующее поле - флаг, определяющий действие, выполненное innd с данной статьей. Возможны 4 флага:

"+" - статья успешно принята.
"-" - статья отвергнута по причине [reason] (поле reason фигурирует только если статья отклонена).
"j" - статья успешно принята, но поскольку она из групп новостей, имеющих в файле active флаг "j", она будет помещена в группу junk.
"c" - в этом случае прежде чем поступит сама статья будет принято cancel-сообщение.

Поле feed определяет от кого статья была получена демоном innd для дальнейшей обработки. Если это поле представляет IP-адресс 0.0.0.0, то статья получена локально (nnrpd принял ее от клиента).

Поле Message-ID определяет идентификатор данной статьи.

Если статья была отвергнута, то поле [reason] определяет причину, по которой это было сделано. Причем, это поле будет последним в данной строке (поля size site ... отсутствуют).

Поле size определяет размер статьи в байтах.

Последнее поле site ... определяет список сторон, которым данная статья будет распространена (основываясь на файле newsfeeds).

Рассмотрим для примера фрагмент файла news:


   Mar 28 06:06:20.340 + ace.domain.ru <6fgqr8$qun$1@simtel.ru> 27127 netlab
   Mar 28 06:06:21.278 - ace.domain.ru  437 Unwanted newsgroup "relcom.rec.puzzles"
   ......
   Mar 31 11:31:43.818 + 0.0.0.0 <35209BDE.D94E6A66@kari.ru> 2140 ace netlab
   Mar 31 14:07:57.876 + 0.0.0.0 <01bd5c8c$e11b9520$8832e9c1@bsd.kari.ru> 479 ace

первая строка говорит, что от ace.domain.ru была принята статья (опубликованная на машине домена simtel.ru) размером 27127 байт и копия статьи поставлена в очередь на отправку стороне netlab. Вторая строка говорит, что машина ace.domain.ru послала нам статью из группы новостей relcom.rec.puzzles, на которую мы не подписывались, поэтому innd отверг ее с указанием причины: 437 Unwanted newsgroup "relcom.rec.puzzles". В последних двух строках статьи размером 2140 и 479 байт были опубликованы клиентами нашего сервера с локальной машины и с хоста bsd.kari.ru, используя nnrpd, и распространены на стороны ace, netlab и ace соответственно.

Помимо перечисленных выше файлов регистрации, ряд программ системы INN ведут собственные файлы регистрации (expire.log, send-uucp.log, nntpsend.log и др.).

Програама expire оповещает о проделанной ею работе через файл expire.log. Ниже приведен пример этого файла:


        expire begin Sat Mar 28 04:06:34 MSK 1998: (-v1)
        Article lines processed 14581
        Articles retained       12437
        Entries expired          2144
        Files unlinked           2854
        Old entries dropped       408
        Old entries retained     2967
        expire end Sat Mar 28 04:09:21 MSK 1998

Первая и последняя строки обозначает временные границы работы программы expire -v1. Следующие строки означают, что программа expire прочитала в history-файле 14581 строк, из них оставлено 12437 строк (читай статей), т.е. удалено 2144 строки (на самом деле строка не удаляется, а "сокращается" до трех полей - message-id, дата прибытия статьи и значение заголовка Expire (либо ~, если заголовок отсутствует), поэтому в действительности - 2144 есть число удаленных тел статей). Значение Files unlinked (2854) определяет число удаленных файлов на диске; дело в том, что одна статья (одно тело) может быть опубликована в несколько групп (при этом для каждой группы создается свой файл), поэтому это значение может быть больше, нежели Entries expired. Последние два цифровых значения относятся к неполным строкам (из 3 полей), т.е. к message-id статей, тела которых уже удалены из системы. Old enties dropped (408) - число удаленных строк для статей, тела которых уже были удалены. Old entries retained (2967) - число оставленных строк для статей, тела которых уже удалены (неполных строк).

Если Вы пользуетесь программой nntpsend для отправки статей к NNTP-соседям, то Вы обнаружите файл nntpsend.log, в который эта программа записывает информацию о своей работе. Например при сеансе отправки потока новостей к NNTP-соседу netlab при помощи nntpsend , файл nntpsend.log пополнится примерно следующим:


  nntpsend: [3560] start
  nntpsend: [3560] stop
  nntpsend: [3560:3611] begin netlab Wed Apr 1 11:43:37 MSD 1998
  nntpsend: [3560:3611] innxmit -a netlab ...
  nntpsend: [3560:3611] end netlab Wed Apr  1 11:43:39 MSD 1998

Безусловно, регулярно просматривать кипу регистрационных файлов, да еще и в не совсем удобочитаемом формате - дело не из приятных и отнимает много времени. К счастью, необходимости в этом нет. Пакет INN включает ряд сценариев, обрабатывающих log-файлы и выдающих суммарную информацию в удобном виде.

Сценарий innstat выдает "фотоснимок" системы INN. Он показывает режим работы сервера, использование дискового пространства, статус всех log- и lock- файлов.

Perl-сценарий innlog.pl выдает статистику активности демонов innd и nnrpd , обобщая информацию в регистрационных файлах системы syslog. Обычно этот сценарий вызывается другим сценарием - scanlogs.

Сценарий scanlogs обобщает информацию, записываемую в log-файлы INN. По умолчанию, он также производит ротацию и очистку ряда регистрационных файлов. В каталоге /var/log/news/OLD содержатся компрессованные файлы, полученные в результате ротации (цикл ротации - 3). Обычно scanlogs вызывается сценарием news.daily(который запускают обычно раз в сутки), поэтому в результате ротации файлов, у Вас на системе будет хранится регистрационная информация за последние трое суток плюс текущая информация.

По большому счету, Вам нет необходимости запускать перечисленные выше сценарии по отдельности. Запуская из cron'а ежедневно сценарий news.daily, администратор сервера новостей news (псевдоним usenet) будет ежедневно по почте получать полную статистику работы INN сервера, как суммарный итог работы этих сценариев.

Прежде чем разбираться, что же нам послал в письме news.daily, разберемся по шагам, что в действительности делает этот сценарий:

Сначала он формирует Subject для будущего письма по адресу usenet@this.news.server в следующем виде: this.news.server daily usenet report for [current data]
Вызывает сценарий innstat, который показывает статус innd (вывод команды ctlinnd mode), использование дискового пространства, размеры batch-, log- и lock-файлов в блоках по 512 байт (округление идет до следующего целого значения), а текущие соединения с сервером.
news.daily вызывает программу expire, которая сканирует файл history и основываясь на сроках хранения статей (прописанных в файле expire.ctl) удаляет старые статьи.
news.daily передает работу сценарию scanlogs, который выполняет следующее:
- показывает критические ошибки от syslog (содержимое файла news.crit).
- показывает фатальные ошибки от syslog (содержимое файла news.err).
- показывает содержимое файла expire.log (о проделанной командой expire работе).
- сканирует регистрационные файлы на наличие различных проблем относительно статей, которые были приняты или отправлены системой, а затем выводит для каждой категории по 20 верхних (по-умолчанию) элементов. В частности, будут выведены (если, конечно, есть)
  - 20 сторон, отправлявших нам чаще всего (количество в первом столбце) статьи с ошибками;
  - 20 сторон, посылавших нам чаще всего статьи из групп, на которые мы не подписывались;
  - 20 наиболее частых из нежелательных распространений;
  - 20 наиболее часто приходящих групп новостей, на которые мы не подписаны;
  - 20 сторон из тех, которые наиболее часто пытались установить соединение по NNTP с нами, но не имели на то прав;
  - 20 наиболее часто встречающихся основных проблем;
  - 20 сторон посылавших нам чаще всего статьи с ошибочными заголовками.
- scanlogs вызывает perl-сценарий innlog.pl, который обобщает syslog-информацию о работе innd и nnrpd и выводит следующую статистику:
  - неизвестные для сценария вхождения в файле news;
  - команды, полученные демоном innd от ctlinnd;
  - группы новостей, созданные через ctlinnd;
  - группы новостей, удаленные через ctlinnd;
  - статистика о получении демоном innd статей (по системам и итоговая информация);
  - далее выводится различная innd статистика (об ошибочных ID статей, об ошибочных ihave- и sendme- сообщениях, об ошибочных командах, об отвергнутых из-за размера статей, и др.);
  - статистика об отправлении статей командой innfeed (если используется);
  - nntpd-статистика;
  - статистика об отправлении статей командой innxmit (по системам и итого);
  - попытки ( в том числе ошибочные) установления соединений для передачи статей другим системам (по системам и итого);
  - nntplink-статистика (если для отправки используется эта программа);
  - batcher-статистика;
  - rnews-статистика;
  - nnrp-статистика (статистика работы nnrp-клиентов по хостам и доменам, запросы на аутентификацию по пользователям, счетчики запросов статей по категориям и группам, ошибки при работе gethostbyaddr и др.);
  - mthreads-статистика (если используется).
- после завершения работы сценария innlog.pl, scanlogsкомпрессует нужные файлы и производит их ротацию с циклом 3 (если у команды нет опции norotate), после чего возвращает управление работой сценарию news.daily;
news.daily снова вызывает сценарий innstat, который показывает статус innd после очистки. произведенной программой expire;
перенумерует файл active;
из временных файлов формирует окончательное почтовое сообщение для usenet;
и, наконец, завершает свою работу, формируя в каталоге /var/news/etc файл news.daily, в котором сообщает время завершения своей работы.

Вернуться к 1 части

Ждем ваших писем, так как благодаря им, страничка становится интересней и полезней.
E-mail: unix@asphaltstorm.da.ru