BASH: Analizzare i log di apache con una riga

admin — Tue, 08 Nov 2016 08:30:32 +0000

L’analisi dei files di log di un server web può servire per capire e diagnosticare problemi, anomalie, abusi, pagine più viste, referrer, etc etc.

Si possono usare i classici analizzatori di statistiche, oppure magari qualche script bash molto semplice e spesso molto più veloce ed efficace.

Queste alcune delle più utili, da modificare secondo le proprie esigenze.

# top 20 URLs per le ultime 5000 hits

tail -5000 ./transfer.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
tail -5000 ./transfer.log | awk '{freq[$7]++} END {for (x in freq) {print freq[x], x}}' | sort -rn | head -20

# top 20 URLS escludendo i POST dalle ultime 5000 hits

tail -5000 ./transfer.log | awk -F"[ ?]" '{print $7}' | sort | uniq -c | sort -rn | head -20
tail -5000 ./transfer.log | awk -F"[ ?]" '{freq[$7]++} END {for (x in freq) {print freq[x], x}}' | sort -rn | head -20

# top 20 IPs dalle ultime 5000 hits

tail -5000 ./transfer.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20
tail -5000 ./transfer.log | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -rn | head -20

# top 20 URLs da un certo IP (es 1.2.3.4) dalle ultime 5000 hits

IP=1.2.3.4; tail -5000 ./transfer.log | grep $IP | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
IP=1.2.3.4; tail -5000 ./transfer.log | awk -v ip=$IP ' $1 ~ ip {freq[$7]++} END {for (x in freq) {print freq[x], x}}' | sort -rn | head -20

# top 20 URLS richieste da un certo IP(es 1.2.3.4), escludendo le richieste POST, dalle ultime 5000 hits

IP=1.2.3.4; tail -5000 ./transfer.log | fgrep $IP | awk -F "[ ?]" '{print $7}' | sort | uniq -c | sort -rn | head -20
IP=1.2.3.4; tail -5000 ./transfer.log | awk -F"[ ?]" -v ip=$IP ' $1 ~ ip {freq[$7]++} END {for (x in freq) {print freq[x], x}}' | sort -rn | head -20

# top 20 referrers dalle ultime 5000 hits

tail -5000 ./transfer.log | awk '{print $11}' | tr -d '"' | sort | uniq -c | sort -rn | head -20
tail -5000 ./transfer.log | awk '{freq[$11]++} END {for (x in freq) {print freq[x], x}}' | tr -d '"' | sort -rn | head -20

# top 20 user agents dalle ultime 5000 hits

tail -5000 ./transfer.log | cut -d\ -f12- | sort | uniq -c | sort -rn | head -20

# totale dei dati (in MB) trasferiti dalle ultime 5000 hits

tail -5000 ./transfer.log | awk '{sum+=$10} END {print sum/1048576}'

enjoy!

Estrarre i logs di apache tra due date/orari

admin — Sat, 31 Mar 2012 09:00:36 +0000

Quando si lavora su server web con decine di migliaia di accessi al giorno, si arriva facilmente a file di log di diversi GigaByte. Controllare file di questa dimensione è praticamente impossibile.
In questo caso ci viene in aiuto awk, che consente di estrapolare facilmente delle strighe, con determinati requisiti, da un file.
Se, ad esempio, il file di log si chiama access.log e vogliamo estrarre dati dalle 18:05 alle 20:11 del 27 Marzo 2012 inserendoli nel file log_estratti.txt, possiamo usare il seguente comando:

awk '/27\/Mar\/2012:18:05:/, /27\/Mar\/2012:20:11:/' access.log >log_estratti.txt

Ricordo inoltre un precedente post che spiega come Estrarre una parte di file da Linux bash con sed

enjoy!

Quali sono i dieci comandi più usati nel terminale?

admin — Wed, 18 Aug 2010 16:37:11 +0000

Sei curioso di sapere quali sono i dieci comandi più usati nel terminale? Semplice, esegui nel terminale:

history | awk '{print $2}' | awk 'BEGIN {FS="|"}{print $1}' | sort | uniq -c | sort -n | tail | sort -nr

awk – SMsoft – informatica e dintorni

BASH: Analizzare i log di apache con una riga

Estrarre i logs di apache tra due date/orari

Quali sono i dieci comandi più usati nel terminale?