Понадобилось мне как-то выдрать из файла данные и сгруппировать результаты. К примеру, можно посмотреть статистику использования UserAgent в логах Nginx. Или посмотреть с каких IP адресов больше всего запросов.
Всё это можно сделать в консоли комбинируя sort и uniq. Сначала выбираем нужные данные, например, с помощью awk, потом сортируем sort, затем выбираем группируем с подсчётом uniq -c, и после снова сортируем результат sort -rn.
| sort | uniq -c | sort -rnПример:
cat ./gitlab_access.log | grep auth | awk '{print $1}' | sort | uniq -c | sort -rnПолучим что-то типа:
120 192.168.0.42
58 192.168.0.22
29 192.168.0.236
14 192.168.0.160
8 192.168.0.162
5 192.168.0.204
3 192.168.0.24
2 192.168.0.99
