Controllando i parametri riportati nel log al momento della disconnessione imap, possiamo capire se sono state cancellate email.

Ecco il comando da eseguire:

grep 'del=' /var/log/mail.log|grep -v 'del=0'

dove avremo una serie di righe tipo:

Mar 04 10:25:37 cp dovecot: pop3(test@smsoft.it)<2598598>: Disconnected: Logged out top=0/0, retr=55/23399532, del=107/676, size=167749519, bytes=1536/23426893

che ci faranno capire la quantità di email eliminata, mostrata dopo il del=

enjoy!

Innanzitutto scarichiamo offlineimap:

apt install offlineimap

A questo punto creiamo un file di configurazione, ad esempio off_admin.conf:

[general]
accounts = admin
ui = TTYUI

[Account admin]
localrepository = adminLocal
remoterepository = adminRemote

[Repository adminLocal]
type = Maildir
localfolders = ~/imap/admin/
sync_deletes = no

[Repository adminRemote]
type = IMAP
remotehost = IMAP_HOSTNAME
remoteuser = USERNAME
remotepass = PASSWORD
remoteport = 143
ssl = no
usecompression = no
maxconnections = 1
readonly = False
realdelete = no

Ora consigliamo di avviare una prima sincronizzazione con:

offlineimap -o -c off_admin.conf

a questo punto copiamo la posta locale, dalle varie cartelle nelle cartelle predisposte con la sincronizzazione (in modo da non dover riscrivere i nomi delle cartelle, cosa comunque possibile con offlineimap). Ad esempio:

cp -R ~/admin/Maildir/.Sent/* ~/imap/admin/Sent/

Infine eseguiamo nuovamente offlineimap e completiamo la sincronizzazione

offlineimap -o -c off_admin.conf

enjoy!

La verifica di connessione IMAP/SMTP è possibile anche con curl in modo molto veloce, magari anche più semplice da fare.

IMAP

curl -k imap://username:password@hostname/

ove ovviamente username, password ed hostname saranno i reali valori del vostro account imap. La risposta conterrà l’elenco delle cartelle IMAP o un errore di connessione se i parametri sono errati.

Per avere i dettagli di una cartella, basterà specificare la cartella come segue:

curl -k imap://username:password@hostname/ --request "EXAMINE INBOX"

Per leggere il contenuto di un messaggio nella cartella INBOX e conoscendone l’UID (es 12 nel seguente esempio):

curl -k "imap://username:password@hostname/INBOX;UID=12"

Infine un semplice script bash che mostra in sequenza l’oggetto di tutti i messaggi contenuti nella INBOX:

#!/bin/bash

ID=1
while true  ; do
    echo "Messaggio ${ID}"
    curl -k "imap://username:password@hostname/INBOX;UID=${ID};SECTION=HEADER.FIELDS%20(SUBJECT)" || exit
    ID=expr $ID + 1
done

SMTP:

Per provare l’SMTP bisogna intanto preparare un file di testo, in questo esempio chiamato file.txt, che conterrà i dettagli dell’email:

From: "Mittente" <email@mittente>
To: "Destinatario" <email@destinatario>
Subject: Email di prova

Ciao,
Questa una prova di invio email
A presto!

successivamente:

curl --ssl-reqd smtp://hostname -n --mail-from email_mittente --mail-rcpt email_destinatario -T file.txt --user 'username:password'

Ricordo infine che il parametro -v di curl permette di visualizzare i dettagli di connessione, sicuramente utili in caso di debug.

enjoy!

A parte individuare la causa del problema (un form senza captcha del sito web) è stato necessario trovare un sistema per cancellargli la posta. Tramite webmail non è stato possibile (troppa posta) e neanche tramite client di posta.

Allora come fare senza chiedere il reset totale della casella?

Beh, in questi casi si puà usare imapfilter, un comodo script che generalmente viene usato per sincronizzare due caselle, ma che può essere usato anche per queste cose.

Da una prima analisi fatta con una connessione telnet al server IMAP, ho visto che molti messaggi avevano come oggetto “Undelivered Mail Returned to Sender“. Vediamo quindi come cancellare tutti i messaggi con questo oggetto.

Per l’installazione su debian, basta:

apt-get install imapfilter

mentre su MacOS consiglio l’installazione tremite brew:

brew install imapfilter

Poi creiamo un file di configurazione ad-hoc, magari chiamato imapfilter.lua:

options.starttls = true
options.certificates = false
options.expunge = true
options.limit = 100
account = IMAP {
 server = 'INDIRIZZO_SERVER_IMAP',
 username = 'USERNAME_CASELLA',
 password = 'PASSWORD_CASELLA',
}

Vediamo ora cosa aggiungere al file imapfilter.lua per filtrare i messaggi. Ecco alcuni esempi:

Seleziono tutti i non visti, arrivati il 19 dicembre 2017 e con l'oggetto indicato

messages = account.INBOX:is_unseen() * account.INBOX:arrived_on("19-Dec-2017") * account.INBOX:contain_subject("Undelivered Mail Returned to Sender")

Seleziono i messaggi più recenti di 30gg e ricevuti dal mittente indicato

messages = account.INBOX:is_newer(30) * account.INBOX:contain_from("Postmaster@163.com")

Seleziono tutti i messaggi arrivati prima del 01 gennaio 2016

messages = account.INBOX:arrived_before("01-Jan-2016")

Seleziono i messaggi inviati prima del 01 gennaio 2016

messages = account.Sent:sent_before("01-Jan-2016")

Seleziono tutti i non visti e più recenti di 20gg con un determinato oggetto

messages = account.INBOX:is_unseen() * account.INBOX:is_newer(20) * account.INBOX:contain_subject("Undelivered Mail Returned to Sender")

Elimino i messaggi selezionati

 messages:delete_messages()

ed infine eseguiamolo:

imapfilter -c imapfilter.lua  -l imapf.log

Nel file imapf.log sarà possibile vedere l’avanzamento della procedura.

Nel file di configurazione, la riga preceduta da – – è commentata. In quello di esempio trovate attiva una regola che cerca i messaggi con quell’oggetto negli ultimi 20 giorni, mentre le regole commentate vi danno la possibilità di cercare in una data specifica o per un mittente specifico.

Vi rimando alla pagina del manuale per ulteriori informazioni sulle regole da poter usare nel file di configurazione.

enjoy!

E’ passato un po’ di tempo ed imapsync non è più ne repository Debian. Vediamo come installarlo:

apt-get update && apt-get upgrade

sudo apt-get install libdate-manip-perl libterm-readkey-perl libterm-readkey-perl libdigest-hmac-perl libdigest-hmac-perl libdate-manip-perl libmail-imapclient-perl makepasswd rcs perl-doc make git

Installiamo le librerie Perl che ci servono:
cpanm Data::Uniqid Mail::IMAPClient

A questo punto possiamo recuperare una versione aggiornata di imapsync tramite GIT:
git clone git://github.com/imapsync/imapsync.git

oppure semplicemente:
wget https://raw.githubusercontent.com/imapsync/imapsync/master/imapsync
chmod 755 imapsync

L’utilizzo è sempre il medesimo.
Per copiare dall’account imap
“test1” sul server “test1.info” con password “secret1”
verso l’account imap
“test2” sul “test2.info” con password “secret2”

basta digitare:
imapsync \
--host1 test1.info --user1 test1 --password1 secret1 \
--host2 test2.info --user2 test2 --password2 secret2

enjoy!

Ad esempio, per la connessione a pop.smsoft.it sulla porta 143:

telnet pop.smsoft.it 143

che risponde con:

Trying xxx.xx.xxx.xx...
Connected to pop.smsoft.it.
Escape character is '^]'.
* OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE STARTTLS AUTH=PLAIN] Dovecot ready.

Al momento della connessione, vengono richiesti i dati di accesso, da fornire nel formato:

a login USERNAME PASSWORD

Questo però funziona solo se è abilitata la modalità AUTH=PLAIN. Se invece al momento della connessione vediamo una cosa del genere:

Trying xxx.xx.xxx.xx...
Connected to pop.smsoft.it.
Escape character is '^]'.
* OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE IDLE STARTTLS LOGINDISABLED AUTH=DIGEST-MD5] Dovecot ready.

significa che l’accesso PLAIN non funziona, ma è possibile usare STARTTLS ed infatti passando i parametri di login come indicato prima, si riceve il seguente avviso:

* BAD [ALERT] Plaintext authentication not allowed without SSL/TLS, but your client did it anyway. If anyone was listening, the password was exposed.
a NO [PRIVACYREQUIRED] Plaintext authentication disallowed on non-secure (SSL/TLS) connections.

In questo caso, non è possibile usare il classico telnet ma bisogna effettuare una connessione SSL. Per questo, sempre da terminale, si può usare il comando openssl.

Sempre seguendo l’esempio di prima (la connessione a pop.smsoft.it sulla porta 143), possiamo procedere come segue:

openssl s_client -connect pop.smsoft.it:143  -starttls imap

e poi fare il login sempre con il classico:

a login USERNAME PASSWORD

Per le operazioni di lettura della posta, potete far riferimento al precedente articolo Leggere la posta via telnet con protocollo IMAP

enjoy!

Dopo aver scaricato lo script:

wget https://raw.githubusercontent.com/rcarmo/imapbackup/master/imapbackup.py

chmod 755 imapbackup.py

./imapbackup.py

./imapbackup.py -s MAILSERVER -u USERNAME -p PASSWORD -a -n

dove ovviamente dovrete sostituire MAILSERVER, USERNAME e PASSWORD con i corretti valori per la vostra casella.

enjoy!

Oggi voglio presentarvi uno script python che consente l’upload di email in formato mbox su un server IMAP. Il software si chiama IMAP-Upload ed è estremamente semplice da utilizzare.

Il download può essere fatto direttamente dalla pagina dello scripts, oppure da sourceforge.

Quick Start

Caricare una mailbox locale chiamata Posta.mbox nella cartella imap denominata INBOX.imported nel server mail.example.com usandoSSL:

python imap_upload.py Posta.mbox imaps://mail.example.com/INBOX.imported

In alternativa si può usare la seguente sintassi per fare la medesima cosa:

python imap_upload.py --host mail.example.com --port 993 --ssl --box INBOX.imported Posta.mbox

Esiste anche un’apposita opzione per caricare la posta in un account gmail:

python imap_upload.py --gmail --box imported Posta.mbox

Eventualmente si possono salvare i messaggi che lo script non è riuscito a caricare, in un altro file mbox:

python imap_upload.py --gmail --box imported --error Friends.err Friends.mbox

Per maggiori dettagli:

python imap_upload.py --help

Nota:
Consiglio inoltre di provare imapbackup per effettuare un backup del contenuto della propria casella IMAP

enjoy!

telnet mail_server 143

dove mail_server è il nome o l’ip del mail server.
A questo punto per effettuare il login, bisogna digitare:

. login user pass

dove user è l’username e pass e la relativa password. Se l’accesso viene correttamente effettuato, verrà visualizzato un messaggio tipo “OK User logged in“.
A questo punto per visualizzare l’elenco delle mailbox presenti per l’account email si potrà digitare:

. list "" "*"

Per visualizzare il numero dei messaggi di una mailbox (es INBOX) si potrà digitare:

. status INBOX (messages)

per conoscere il numero dei messaggi recenti:

. status INBOX (recent)

per conoscere il numero dei messaggi non letti:

. status INBOX (unseen)

Per selezionare una cartella IMAP, es INBOX:

. SELECT INBOX

Per vedere gli UID di tutte le emails presenti:

. UID SEARCH ALL

Per visualizzare l’header completo di un messaggio in particolare, es UID 1:

. FETCH 1 rfc822.header

Per visualizzare una versione sintetica dell’header:

. FETCH 1 all

Per visualizzare il testo di una email:

. FETCH 1 BODY.PEEK[TEXT]

Per visualizzare l’header completo di tutti i messaggi:

. FETCH 1:* rfc822.header

Usare con attenzione. Per cancellare tutti i messaggi nella cartella INBOX.Deleted:

. select "INBOX.Deleted"
. expunge
. uid store 1:* +FLAGS (\Deleted)
. close

Infine, per chiudere la connessione, bisognerà digitare:

. logout

enjoy!

Ipotizziamo di avere due server mail chiamati:

www.server1.it

www.server2.it

e due caselle email attive su questi server con il nome:

prova@server1.it

prova@server2.it

Con la seguente procedura posso migrare la posta dalla casella prova@server1.it (user: prova@server1.it – pass: prova) alla casella prova@server2.it (user: prova@server2.it – pass: prova).

Installiamo imapsync tramite il classico apt-get:

apt-get  install imapsync

Ora bisognerà preparare due file contenenti le password delle due caselle:

echo "prova" >/tmp/secret1

echo "prova" >/tmp/secret2

Per attivare la sincronizzazione basterà digitare:

imapsync --host1 www.server1.it --user1 prova@server1.it
--passfile1 /tmp/secret1 --host2 www.server2.it
--user2 prova@server2.it --passfile2 /tmp/secret2

Verrà visualizzato il debug della procedura di sincronizzazione ed al termine la conferma di avvenuta sincronizzazione.
A questo punto ricordatevi di cancellare i file con le password:

rm /tmp/secret1 /tmp/secret2

Per ulteriori informazioni su questo tool, basterà digitare nella shell:

imapsync --help

Oltre ad imapsync, mi preme segnalare imapcopy (mirror), uno script in perl che ho utilizzato qualche tempo fa e che serve a copiare le email da una casella imap in un’altra.