Перейти к основному содержанию

Linux — сортировка с группировкой

Linux 2

Понадобилось мне как-то выдрать из файла данные и сгруппировать результаты. К примеру, можно посмотреть статистику использования UserAgent в логах Nginx. Или посмотреть с каких IP адресов больше всего запросов.

Всё это можно сделать в консоли комбинируя sort и uniq. Сначала выбираем нужные данные, например, с помощью awk, потом сортируем sort, затем выбираем группируем с подсчётом uniq -c, и после снова сортируем результат sort -rn.

| sort | uniq -c | sort -rn

Пример:

cat ./gitlab_access.log | grep auth | awk '{print $1}' | sort | uniq -c | sort -rn

Получим что-то типа:

    120 192.168.0.42
    58 192.168.0.22
    29 192.168.0.236
    14 192.168.0.160
     8 192.168.0.162
     5 192.168.0.204
     3 192.168.0.24
     2 192.168.0.99

Теги

 

Похожие материалы

Putty — SOCKS5 прокси через SSH-туннель

Однажды один из IP адресов на работе попал в SORBS SPAM. IP адрес можно выкинуть из спам листа, если зайти на сайт sorbs.net именно с этого IP адреса. Но у меня на компе другой внешний IP адрес, а на почтовике с нужным IP стоит linux и нет возможности запустить браузер. Сделаем с помощью putty SSH туннель. 

Теги

Postfix с SMTP аутентификацией Cyrus

Понадобилось сделать Postfix с SMTP аутентификацией. Раньше не настраивал, перерыл кучу статей. Очень сумбурно всё изложено, поэтому пришлось написать свой вариант. Если кто-то знает хорошую инструкцию по данному вопросу без лишней воды — пишите в комментариях.

Теги