NXLog — сбор логов Postfix на Ubuntu

Пришла задача организовать сбор логов на почтовом сервере Postfix, который развёрнут на Ubuntu Server. Заказчика интересуют логи отправки писем в виде JSON. Он хочет, чтобы почтовый сервер на каждую отправку письма отчитывался — передавал по curl данные из лога. Поможет нам в этом непростом деле NXLog.

NXLog — это высокопроизводительное многоплатформенное решение для управления логами.

https://nxlog.co

Решение существует как в бесплатном исполнении Community Edition, так и в платном — Enterprise Edition. Сравнение редакций:

https://nxlog.co/community-edition-vs-enterprise-edition

Бесплатная редакция полностью удовлетворяет всем требованиям нашей задачи:

• получение данных из файла и отправка в файл: модуль Files (im_file, om_file)
• преобразование данных в JSON: модуль JSON (xm_json)
• получение и отправка данных по HTTP: модуль HTTP (im_http, om_http)

Функции NXLog

• Непрерывный сбор событий операционной системы, брандмауэров, коммутаторов, маршрутизаторов, модемов, бизнес-систем и пр.
• Настраиваемая пересылка событий на другие Syslog сервера.
• Удаление, фильтрация выбранных или ненужных событий.
• Поиск, сортировка и настраиваемый фильтр событий.

Установка NXLog

У нас почтовый сервер Postfix работает на ОС Ubuntu 16.04.

Мануал по установке на Debian нам подойдёт:

https://docs.nxlog.co/userguide/deploy/debian.html

В списке можно найти нужную для нашей ОС версию дистрибутива. Однако, нам она не очень интересна, потому что не Community Edition.

Переходим на страничку загрузки пакетов для CE:

https://nxlog.co/downloads/nxlog-ce#nxlog-community-edition

Выбираем пакет для нашей операционной системы и скачиваем.

No thanks, just start my download.

Загружаем пакет на сервер и пробуем установить:

dpkg -i nxlog-ce_3.1.2319_ubuntu16_amd64.deb

И у нас ничего не устанавливается!

Есть проблемы зависимостей. Удаляем пакет:

apt-get remove nxlog-ce

Смотрим в документацию и видим волшебную надпись:

If dpkg returned errors about uninstalled dependencies, use apt-get to install them and complete the NXLog installation.

Ну ладно, ставим зависимости:

apt-get install libapr1
apt-get -f install

Повторно устанавливаем пакет NXLog:

dpkg -i nxlog-ce_3.1.2319_ubuntu16_amd64.deb

И у нас всё устанавливается!

Автоматически запускается служба nxlog:

service nxlog status

Конфигурационный файл находится по адресу:

/etc/nxlog/nxlog.conf

И там сейчас находится пример конфигурации.

Данный пример нам не нужен, стираем всё, будем настраивать обработку логов Postfix.

Отправка логов Postfix в файл

Для начала просто убедимся в том, что nxlog работает. Для этого организуем запись логов в файл: /var/log/smtp.log. А данные будем брать из логов Postfix: /var/log/mail.log.

Мы будем преобразовывать данные в формат JSON, в конфиге будет модуль xm_json:

<Extension _json>
    Module  xm_json
</Extension>

Для получения данных из файла /var/log/mail.log используем модуль im_file:

<Input postfix>
    Module  im_file
    File    "/var/log/mail.log"
    <Exec>
        if $raw_event =~ /(?x)^(\S+\ +\d+\ \d+:\d+:\d+)\ (\S+)
                          \ postfix\/(\S+)\[(\d+)\]:\ (.+)$/
        {
            $EventTime = parsedate($1);
            $HostName = $2;
            $SourceName = "postfix";
            $Component = $3;
            $ProcessID = $4;
            $Message = $5;
            if $Component == "smtpd" and
               $Message =~ /(\w+): client=(\S+)\[([\d.]+)\]/
            {
                $QueueID = $1;
                $ClientHostname = $2;
                $ClientIP = $3;
            }
            if $Component == "cleanup" and
               $Message =~ /(\w+): message-id=(<\S+@\S+>)/
            {
                $QueueID = $1;
                $MessageID = $2;
            }
            if $Component == "qmgr" and
               $Message =~/(\w+): from=(<\S+@\S+>), size=(\d+), nrcpt=(\w+)/
            {
                $QueueID = $1;
                $Sender = $2;
                $Size = $3;
                $Nrcpt = $4;
            }
            if $Component == "smtp" and
               $Message =~ /(?x)(\w+):\ to=(<\S+@\S+>),\ relay=([\w.]+)\[([\d.]+)\],
                            \ delay=(\d+),\ status=(\w+)\ \((\d+)\ \w+:\ queued\ as
                            \ (\w+)\)/
            {
                $QueueID = $1;
                $Recipient = $2;
                $RelayHostname = $3;
                $RelayIP = $4;
                $Delay = $5;
                $Status = $6;
                $SMTPCode = $7;
                $QueueIDDelivered = $8;
            }
        }
    </Exec>
</Input>

Целиком взял этот блок из документации.

Для записи данных в файл /var/log/smtp.log используем модуль om_file:

<Output out>
    Module  om_file
    File    "/var/log/smtp.log"
    <Exec>
        if $Component != "smtp" drop();
        to_json();
    </Exec>
</Output>

В итоге получаем:

########################################
# Global directives                    #
########################################
User nxlog
Group nxlog

include /etc/nxlog/nxlog.d/*.conf
LogFile /var/log/nxlog/nxlog.log
LogLevel INFO

########################################
# Modules                              #
########################################

<Extension _json>
    Module  xm_json
</Extension>

<Input postfix>
    Module  im_file
    File    "/var/log/mail.log"
    <Exec>
        if $raw_event =~ /(?x)^(\S+\ +\d+\ \d+:\d+:\d+)\ (\S+)
                          \ postfix\/(\S+)\[(\d+)\]:\ (.+)$/
        {
            $EventTime = parsedate($1);
            $HostName = $2;
            $SourceName = "postfix";
            $Component = $3;
            $ProcessID = $4;
            $Message = $5;
            if $Component == "smtpd" and
               $Message =~ /(\w+): client=(\S+)\[([\d.]+)\]/
            {
                $QueueID = $1;
                $ClientHostname = $2;
                $ClientIP = $3;
            }
            if $Component == "cleanup" and
               $Message =~ /(\w+): message-id=(<\S+@\S+>)/
            {
                $QueueID = $1;
                $MessageID = $2;
            }
            if $Component == "qmgr" and
               $Message =~/(\w+): from=(<\S+@\S+>), size=(\d+), nrcpt=(\w+)/
            {
                $QueueID = $1;
                $Sender = $2;
                $Size = $3;
                $Nrcpt = $4;
            }
            if $Component == "smtp" and
               $Message =~ /(?x)(\w+):\ to=(<\S+@\S+>),\ relay=([\w.]+)\[([\d.]+)\],
                            \ delay=(\d+),\ status=(\w+)\ \((\d+)\ \w+:\ queued\ as
                            \ (\w+)\)/
            {
                $QueueID = $1;
                $Recipient = $2;
                $RelayHostname = $3;
                $RelayIP = $4;
                $Delay = $5;
                $Status = $6;
                $SMTPCode = $7;
                $QueueIDDelivered = $8;
            }
        }
    </Exec>
</Input>

<Output out>
    Module  om_file
    File    "/var/log/smtp.log"
    <Exec>
        if $Component != "smtp" drop();
        to_json();
    </Exec>
</Output>

########################################
# Routes                               #
########################################
<Route postfix>
    Path        postfix => out
</Route>

Перезапускаем службу и смотрим что у нас в логе NXLog.

service nxlog restart

LogFile /var/log/nxlog/nxlog.log

А у нас не хватает прав на чтение файла /var/log/mail.log. Дадим права. Я пока тестирую, делаю совсем просто, добавляю пользователя nxlog в группу администраторов:

usermod -a -G adm nxlog

Перезапускаем службу и смотрим что у нас в логе NXLog.

service nxlog restart

Нет доступа к файлу /var/log/smtp.log. Да у нас просто нет такого файла, создадим.

cd /var/log
touch smtp.log
chown nxlog\: ./smtp.log

Перезапускаем службу.

service nxlog restart

И у нас всё заработало.

Логи Postfix считываются из файла /var/log/mail.log, преобразуются в JSON и записываются в файл /var/log/smtp.log.

Отправка логов Postfix по HTTP

Модифицируем конфигурацию для отправки логов по HTTP на адрес:

http://test.example.local/api/v1/stats/email

########################################
# Global directives                    #
########################################
User nxlog
Group nxlog

include /etc/nxlog/nxlog.d/*.conf
LogFile /var/log/nxlog/nxlog.log
LogLevel INFO

########################################
# Modules                              #
########################################

<Extension _json>
    Module  xm_json
</Extension>

<Input postfix>
    Module  im_file
    File    "/var/log/mail.log"
    <Exec>
        if $raw_event =~ /(?x)^(\S+\ +\d+\ \d+:\d+:\d+)\ (\S+)
                          \ postfix\/(\S+)\[(\d+)\]:\ (.+)$/
        {
            $EventTime = parsedate($1);
            $HostName = $2;
            $SourceName = "postfix";
            $Component = $3;
            $ProcessID = $4;
            $Message = $5;
            if $Component == "smtpd" and
               $Message =~ /(\w+): client=(\S+)\[([\d.]+)\]/
            {
                $QueueID = $1;
                $ClientHostname = $2;
                $ClientIP = $3;
            }
            if $Component == "cleanup" and
               $Message =~ /(\w+): message-id=(<\S+@\S+>)/
            {
                $QueueID = $1;
                $MessageID = $2;
            }
            if $Component == "qmgr" and
               $Message =~/(\w+): from=(<\S+@\S+>), size=(\d+), nrcpt=(\w+)/
            {
                $QueueID = $1;
                $Sender = $2;
                $Size = $3;
                $Nrcpt = $4;
            }
            if $Component == "smtp" and
               $Message =~ /(?x)(\w+):\ to=(<\S+@\S+>),\ relay=([\w.]+)\[([\d.]+)\],
                            \ delay=(\d+),\ status=(\w+)\ \((\d+)\ \w+:\ queued\ as
                            \ (\w+)\)/
            {
                $QueueID = $1;
                $Recipient = $2;
                $RelayHostname = $3;
                $RelayIP = $4;
                $Delay = $5;
                $Status = $6;
                $SMTPCode = $7;
                $QueueIDDelivered = $8;
            }
        }
    </Exec>
</Input>

<Output http>
    Module              om_http
    URL                 http://test.example.local/api/v1/stats/email
    ContentType         text/plain
    <Exec>
        if $Component != "smtp" drop();
        to_json();
    </Exec>
</Output>


########################################
# Routes                               #
########################################
<Route postfix>
    Path        postfix => http
</Route>

P.S.

Почему-то в документации странный конфиг и регулярное выражение. Переделал регулярку под рабочий вариант:

########################################
# Global directives                    #
########################################
User nxlog
Group nxlog

include /etc/nxlog/nxlog.d/*.conf
LogFile /var/log/nxlog/nxlog.log
LogLevel INFO

########################################
# Modules                              #
########################################

<Extension _json>
    Module  xm_json
</Extension>

<Input postfix>
    Module  im_file
    File    "/var/log/mail.log"
    <Exec>
        if $raw_event =~ /(?x)^(\S+\ +\d+\ \d+:\d+:\d+)\ (\S+)
                          \ postfix\/(\S+)\[(\d+)\]:\ (.+)$/
        {
            $eventTime = parsedate($1);
            $hostName = $2;
            $sourceName = "postfix";
            $component = $3;
            $processId = $4;
            $message = $5;
            if $component == "smtpd" and
               $message =~ /(\w+): client=(\S+)\[([\d.]+)\]/
            {
                $queueId = $1;
                $clientHostname = $2;
                $clientIp = $3;
            }
            if $component == "cleanup" and
               $message =~ /(\w+): message-id=(<\S+@\S+>)/
            {
                $queueId = $1;
                $messageId = $2;
            }
            if $component == "qmgr" and
               $message =~ /(\w+): from=(<\S+@\S+>), size=(\d+), nrcpt=(\w+)/
            {
                $queueId = $1;
                $sender = $2;
                $size = $3;
                $nrcpt = $4;
            }
            if $component == "smtp" and
               $message =~ /(?x)(\w+):\ [host]*\ ?([\w.\ -]*)?\[?[\d.]+\]?\ ?(\w*:?\ ?([\d.\ -]*)?\ (.+)?)/
            {
                $queueId = $1;
                $relayHostname = $2;
                $smtpCode = $4;
                if not defined($4)
                {
                    $smtpInfo = $3;
                } else {
                    $smtpInfo = $5;
                }
            }
            if $component == "smtp" and
               $message =~ /(?x)(\w+):\ to=<(\S+@\S+)>,\ relay=([\w.-]+)\[?([\d.]*)\]?:?(\d*),\ delay=([\d.]+),\ delays=[\d.]+\/[\d.]+\/[\d.]+\/[\d.]+,\ dsn=[\d.]+,\ status=(\w+)\ \(((host|connect)?\ ?[\w.\ -]*\[?[\d.]*\]?[\w\ ]*:\ ?)?([\d.\ -]*)\ (.+)\)/
            {
                $queueId = $1;
                $recipient = $2;
                $relayHostname = $3;
                $relayIp = $4;
                $relayPort = $5;
                $delay = $6;
                $status = $7;
                $smtpCode = $10;
                $smtpInfo = $11;
            }
        }
    </Exec>
</Input>

#<Output out>
#    Module  om_file
#    File    "/var/log/smtp.log"
#    <Exec>
#        if $component != "smtp" drop();
#        #if $relayHostname != "mail.example.com" drop();
#        to_json();
#    </Exec>
#</Output>

<Output http>
    Module              om_http
    URL                 http://test.example.local/api/v1/stats/email
    ContentType         text/plain
    <Exec>
        if $component != "smtp" drop();
        to_json();
    </Exec>
</Output>

########################################
# Routes                               #
########################################
<Route postfix>
    Path        postfix => http
</Route>

#<Route postfix>
#    Path       postfix => out
#</Route>