SMsoft – informatica e dintorni

varie su OSX, GNU/Linux e l'Open Source

Recuperare con wget più file presenti in un elenco

La bash permette di fare cose magnifiche che fanno risparmiare un mucchio di tempo.

Ipotizziamo di avere un file chiamato file.txt che contiene un elenco di url relativi a pdf, es:
....
http://xxxxxx/1.pdf
http:/xxxxxxx/321.pdf
....

e di volerli scaricare tutti. Farlo a mano può diventare allucinante se i files da scaricare sono tanti, ma con la seguente riga, il tutto si riduce ad attendere che lo script lo faccia per voi:

 bash |  copy code |? 
1
while read line; do wget "$line"; done < file.txt

Mi preme far presente che wget potrebbe fare da solo il tutto, semplicemente digitando:

 bash |  copy code |? 
1
wget -i file.txt

ma è bello di tanto in tanto usare lo scripting bash :-)

enjoy!

Installare wget su OSX Lion

L’installazione di wget su OSX Lion, a differenza di Snow Leopard, richiede di definire un parametro aggiuntivo durante la configurazione.

Bisogna recuperare l’ultima versione di wget da http://ftp.gnu.org/gnu/wget/ (ora è http://ftp.gnu.org/gnu/wget/wget-1.13.4.tar.gz).

Ora la procedura da seguire, ovviamente da terminale, è:
tar -xzvf wget-1.13.4.tar.gz
cd wget-1.13.4
./configure –with-ssl=openssl
make
sudo make install

enjoy!

Utilizzare wget per scaricare una galleria fotografica

Come indicato nel precedente post, wget è un potentissimo tool che consente il download di file tramite i protocolli HTTP, HTTPS e FTP.

E’ possibile scaricare in modo semplice dei file, ad esempio immagini, con una sequenza numerica nel nome. Ad esempio

 bash |  copy code |? 
1
for i in `seq -w 1 100`; do wget “http://blog.smsoft.it/images/DSCF00$i.jpg”; done

esegue un ciclo che va da 1 a 100 e ogni volta si scarica un’immagine diversa.

enjoy

Utilizzare Wget per controllare link non funzionanti del sito

Wget è un potentissimo tool che consente il download di file tramite i protocolli HTTP, HTTPS e FTP. Oltre a questo è possibile usarlo anche per altre cose; ad esempio per controllare i links non funzionanti del sito, basterà eseguire da terminale:

 bash |  copy code |? 
1
wget –spider -r -o log.txt http://blog.smsoft.it

In questo modo diciamo a wget di funzionare come uno spider web (ovvero non scaricherà le pagine, ma controllerà solo ì link siano funzionanti), e metterà i risultati nel file log.txt

enjoy

Page optimized by WP Minify WordPress Plugin