Il tool più semplice da poter utilizzare è ab (apache benchmark), fornito con il server web apache. Oggi però parliamo di Siege e di Sproxy.
Siege è il tool vero e proprio per fare il test, mentre Sproxy serve a raccogliere le pagine web che Siege richiamerà durante il test.

Download, compilazione ed installazione di Siege e Sproxy possono essere fatti come segue:
Sproxy

wget http://download.joedog.org/sproxy/sproxy-latest.tar.gz
tar xzvf  sproxy-latest.tar.gz
./configure
make
make install

Siege

wget http://download.joedog.org/siege/siege-latest.tar.gz
tar xzvf  siege-latest.tar.gz
./configure
make
make install

Raccolta senza usare Sproxy

Eseguire:

wget --spider --force-html -r -l0 -w1 http://www.miosito.ext 2>&1| grep '^--' | awk '{ print $3 }' >> urls.txt

dove http://www.miosito.ext è il sito da navigare,
-w: specifica i secondi da attendere tra una richiesta e l’altra
-l: il numero di sottocartelle da seguire (0 significa che non ci sono limiti)

ATTENZIONE: il file urls.txt verrà scritto solo a termine della raccolta, se interrompete prima la procedura, il file urls.txt risulterà vuoto.

Se si è scelto di usare questo sistema, saltare il seguente paragrafo.

Raccolta usando Sproxy

Sproxy è a tutti gli effetti un proxy web che scrive in un file le richieste che gestisce; va quindi avviato e poi va fatta la navigazione del un sito con un qualsiasi browser che dovrà essere configurato per usare il proxy fornito da Sproxy (generalmente 127.0.0.1:9001). Tale procedura però può essere noiosa e lunga. Consiglio una scorciatoia: usare wget per “navigare automaticamente” un sito.
Avviamo Sproxy:

sproxy

e poi eseguiamo:

wget -r -o verbose.txt -l 0 -t 1 --spider -w 1 -e robots=on -e "http_proxy = http://127.0.0.1:9001" "http://www.miosito.ext"

dove http://www.miosito.ext è il sito da navigare,
-w: specifica i secondi da attendere tra una richiesta e l’altra
-l: il numero di sottocartelle da seguire (0 significa che non ci sono limiti)

Ora possiamo procedere con il test

In base al numero di pagine presenti nel sito, si dovrà ora attendere un po’ di tempo. Completata questa fase, possiamo ripulire il file con l’elenco degli url, togliendo i doppioni:

sort -u -o uniq_urls.txt urls.txt

ed infine possiamo avviare Siege, per testare il nostro server web:

siege -v -c 50 -i -t 3M -f uniq_urls.txt -d 10

I parametri usati sono:
-v visualizza più informazioni durante il test
-c il numero totale degli utenti simulati
-i richiama gli url in modalità random
-t specifica il tempo di esecuzione di siege (si può usare S – secondi -, M – minuti – o H – ore-)
-f il file con gli url da richiamare
-d il tempo massimo di ritardo delle richieste simulate

Questa richiesta simula la navigazione da parte di 50 utenti per 3 minuti, che richiamano le url presenti nel file uniq_urls.txt in modo random e con un intervallo che va da 1 a 10 secondi. Il risultato potrebbe essere qualcosa simile a:

Transactions:		         116 hits
Availability:		      100.00 %
Elapsed time:		       59.10 secs
Data transferred:	        0.05 MB
Response time:		        0.00 secs
Transaction rate:	        1.96 trans/sec
Throughput:		        0.00 MB/sec
Concurrency:		        0.00
Successful transactions:         116
Failed transactions:	           0
Longest transaction:	        0.01
Shortest transaction:	        0.00

Le informazioni restituite sono abbastanza esplicative. I parametri chiave sono Availability (che deve essere prossimo al 100%), Transaction rate (che indica le richieste servite al secondo), Response time (che indica il tempo medio per le risposte), Failed transactions (che deve essere prossimo a 0) e Longest transaction (che indica il tempo massimo per la restituzione di una pagina e che deve essere il più possibile vicina a 0 secondi, ma ovviamente può arrivare anche a diversi secondi se il test è molto aggressivo).

Per avere informazioni interessanti, si dovrebbe eseguire siege più volte, con un numero sempre maggiore di utenti (50,100,200,500,1000) ed un tempo di più minuti (almeno 15-30). Questo permetterà di capire come il server risponde, analizzando anche il load e l’occupazione di ram/swap durante il test.

Ecco una semplice formula da utilizzare, per calcolare il numero di utenti in base alla durata del test ed al totale delle richieste che si pensa di avere in un’ora:
utenti = (pagine_totali_richieste_per_ora * minuti_durata_test) / (60 * numero_pagine_richieste_per_utente)

Nota bene

Il test fatto con siege e generalmente più aggressivo della reale navigazione dello stesso numero di utenti impostati, perché il tempo di click tra le varie pagine e generalmente più lungo e soprattutto perché la maggior parte dei browser degli utenti fa cache delle richieste (questo può essere configurato modificando ~/.siegerc ed impostando cache = true).

enjoy!

Ci sono tanti strumenti per fare queste verifiche, alcuni a pagamenti, altri gratuiti. Oggi vi parlo di un software Open Source che fa perfettamente il questo lavoro: effettua delle richieste ad un server web e ne indica i risultati. Siamo parlando di Siege (stress / regression test and benchmark utility), un software scritto per GNU/Linux e portato su altre piattaforme (AIX, BSD, HP-UX e Solaris). In linea di massima si dovrebbe poter compilare sui vari derivati UNIX System V e sui nuovi sistemi BSD.

L’installazione su Debian è molto semplice:

atp-get install siege

mentre per le altre distro o SO rimando alla documentazione nel sito ufficiale.

Siege può essere eseguito per simulare connessioni ssimultanee da parte di un certo numero di utenti contemporanei (parametro c) per un certo numero di volte (parametro r) per una determinata durata (parametro t). Ma passiamo all’opera. Ad esempio, per verificare la risposta a 10 utenti simultanei che richiamano tre volte la pagina indice del server web attivo su localhost, basterà eseguire:

siege -b -c 10 -r 3 http://localhost

Questo darà un dettaglio delle singole connessioni ed un riepilogo del tipo:

Transactions:                     30 hits
Availability:                 100.00 %
Elapsed time:                   0.13 secs
Data transferred:               0.00 MB
Response time:                  0.03 secs
Transaction rate:             230.77 trans/sec
Throughput:                     0.01 MB/sec
Concurrency:                    6.46
Successful transactions:          30
Failed transactions:               0
Longest transaction:            0.06
Shortest transaction:           0.00

Bene, questo potrebbe essere utile per capire come risponde una determinata pagina, ma generalmente la navigazione degli utenti interessa tutto il sito, o almeno parte del sito. In questo caso è molto più utile raccogliere un elenco di pagine (che si presume possano essere le più visitate) e poi farle “navigare” per noi da Siege. Se raccogliamo i vari indirizzi in una file chiamato urls.txt (uno per riga a cui possiamo anche impostare dei valori da passare in GET o POST), e vogliamo far navigare queste pagine in modo random a 10 utenti, per 5 minuti con un ritardo tra il richiamo di una pagina e l’altra di 5 secondi (diciamo il tempo minimo per dare uno sguardo ad una pagina), possiamo eseguire:

siege -c 30 -t 5m -d 5 -i -f urls.txt

Questo testo sicuramente potrà dare informazioni più interessanti da analizzare.
Sicuramente la posibilità di far “navigare” alcuni indirizzi può essere interessante; vi segnalo Sproxy, un altro tool degli stessi sviluppatori, che attiva sul proprio PC un proxy da configurare nel browser e che permette di raccogliere i dati di una sessione di navigazione da poter poi passare a Siege.

Per finire, ricordo che alcuni parametri di siege possono essere impostati nel file ~/.siegerc. Per creare un file con valori di default ed i commenti, basterà eseguire:

siege.config

Generalmente viene creato anche un file di log, posizionato in /var/siege.log.

enjoy