Con wget basta una riga di codice:

wget http://www.org/{1..20}.png

enjoy!

Il tool più semplice da poter utilizzare è ab (apache benchmark), fornito con il server web apache. Oggi però parliamo di Siege e di Sproxy.
Siege è il tool vero e proprio per fare il test, mentre Sproxy serve a raccogliere le pagine web che Siege richiamerà durante il test.

Download, compilazione ed installazione di Siege e Sproxy possono essere fatti come segue:
Sproxy

wget http://download.joedog.org/sproxy/sproxy-latest.tar.gz
tar xzvf  sproxy-latest.tar.gz
./configure
make
make install

Siege

wget http://download.joedog.org/siege/siege-latest.tar.gz
tar xzvf  siege-latest.tar.gz
./configure
make
make install

Raccolta senza usare Sproxy

Eseguire:

wget --spider --force-html -r -l0 -w1 http://www.miosito.ext 2>&1| grep '^--' | awk '{ print $3 }' >> urls.txt

dove http://www.miosito.ext è il sito da navigare,
-w: specifica i secondi da attendere tra una richiesta e l’altra
-l: il numero di sottocartelle da seguire (0 significa che non ci sono limiti)

ATTENZIONE: il file urls.txt verrà scritto solo a termine della raccolta, se interrompete prima la procedura, il file urls.txt risulterà vuoto.

Se si è scelto di usare questo sistema, saltare il seguente paragrafo.

Raccolta usando Sproxy

Sproxy è a tutti gli effetti un proxy web che scrive in un file le richieste che gestisce; va quindi avviato e poi va fatta la navigazione del un sito con un qualsiasi browser che dovrà essere configurato per usare il proxy fornito da Sproxy (generalmente 127.0.0.1:9001). Tale procedura però può essere noiosa e lunga. Consiglio una scorciatoia: usare wget per “navigare automaticamente” un sito.
Avviamo Sproxy:

sproxy

e poi eseguiamo:

wget -r -o verbose.txt -l 0 -t 1 --spider -w 1 -e robots=on -e "http_proxy = http://127.0.0.1:9001" "http://www.miosito.ext"

dove http://www.miosito.ext è il sito da navigare,
-w: specifica i secondi da attendere tra una richiesta e l’altra
-l: il numero di sottocartelle da seguire (0 significa che non ci sono limiti)

Ora possiamo procedere con il test

In base al numero di pagine presenti nel sito, si dovrà ora attendere un po’ di tempo. Completata questa fase, possiamo ripulire il file con l’elenco degli url, togliendo i doppioni:

sort -u -o uniq_urls.txt urls.txt

ed infine possiamo avviare Siege, per testare il nostro server web:

siege -v -c 50 -i -t 3M -f uniq_urls.txt -d 10

I parametri usati sono:
-v visualizza più informazioni durante il test
-c il numero totale degli utenti simulati
-i richiama gli url in modalità random
-t specifica il tempo di esecuzione di siege (si può usare S – secondi -, M – minuti – o H – ore-)
-f il file con gli url da richiamare
-d il tempo massimo di ritardo delle richieste simulate

Questa richiesta simula la navigazione da parte di 50 utenti per 3 minuti, che richiamano le url presenti nel file uniq_urls.txt in modo random e con un intervallo che va da 1 a 10 secondi. Il risultato potrebbe essere qualcosa simile a:

Transactions:		         116 hits
Availability:		      100.00 %
Elapsed time:		       59.10 secs
Data transferred:	        0.05 MB
Response time:		        0.00 secs
Transaction rate:	        1.96 trans/sec
Throughput:		        0.00 MB/sec
Concurrency:		        0.00
Successful transactions:         116
Failed transactions:	           0
Longest transaction:	        0.01
Shortest transaction:	        0.00

Le informazioni restituite sono abbastanza esplicative. I parametri chiave sono Availability (che deve essere prossimo al 100%), Transaction rate (che indica le richieste servite al secondo), Response time (che indica il tempo medio per le risposte), Failed transactions (che deve essere prossimo a 0) e Longest transaction (che indica il tempo massimo per la restituzione di una pagina e che deve essere il più possibile vicina a 0 secondi, ma ovviamente può arrivare anche a diversi secondi se il test è molto aggressivo).

Per avere informazioni interessanti, si dovrebbe eseguire siege più volte, con un numero sempre maggiore di utenti (50,100,200,500,1000) ed un tempo di più minuti (almeno 15-30). Questo permetterà di capire come il server risponde, analizzando anche il load e l’occupazione di ram/swap durante il test.

Ecco una semplice formula da utilizzare, per calcolare il numero di utenti in base alla durata del test ed al totale delle richieste che si pensa di avere in un’ora:
utenti = (pagine_totali_richieste_per_ora * minuti_durata_test) / (60 * numero_pagine_richieste_per_utente)

Nota bene

Il test fatto con siege e generalmente più aggressivo della reale navigazione dello stesso numero di utenti impostati, perché il tempo di click tra le varie pagine e generalmente più lungo e soprattutto perché la maggior parte dei browser degli utenti fa cache delle richieste (questo può essere configurato modificando ~/.siegerc ed impostando cache = true).

enjoy!

Ad esempio:
wget –convert-links -p –adjust-extension -m http://www.google.com/

creerà il mirror del sito web, convertendo le estensioni dei files dinamici (php, asp, etc) in html e modificando i link in modo relativo.

Nel caso i files da scaricare siano molti, si può aggiungere anche l’opzione –random-wait per evitare che il server web blocchi le richieste.

Con questo sistema, potremo creare una versione del sito perfettamente navigabile da un CD-ROM.

enjoy!

Ipotizziamo di avere un file chiamato file.txt che contiene un elenco di url relativi a pdf, es:

....
http://xxxxxx/1.pdf
http:/xxxxxxx/321.pdf
....

e di volerli scaricare tutti. Farlo a mano può diventare allucinante se i files da scaricare sono tanti, ma con la seguente riga, il tutto si riduce ad attendere che lo script lo faccia per voi:

while read line; do wget "$line"; done < file.txt

Mi preme far presente che wget potrebbe fare da solo il tutto, semplicemente digitando:

wget -i file.txt

ma è bello di tanto in tanto usare lo scripting bash 🙂

enjoy!

Bisogna recuperare l’ultima versione di wget da http://ftp.gnu.org/gnu/wget/ (ora è http://ftp.gnu.org/gnu/wget/wget-1.13.4.tar.gz).

Ora la procedura da seguire, ovviamente da terminale, è:
tar -xzvf wget-1.13.4.tar.gz
cd wget-1.13.4
./configure –with-ssl=openssl
make
sudo make install

enjoy!

E’ possibile scaricare in modo semplice dei file, ad esempio immagini, con una sequenza numerica nel nome. Ad esempio

for i in `seq -w 1 100`; do wget “http://blog.smsoft.it/images/DSCF00$i.jpg”; done

esegue un ciclo che va da 1 a 100 e ogni volta si scarica un’immagine diversa.

enjoy

wget –spider -r -o log.txt http://blog.smsoft.it

In questo modo diciamo a wget di funzionare come uno spider web (ovvero non scaricherà le pagine, ma controllerà solo ì link siano funzionanti), e metterà i risultati nel file log.txt

enjoy