Table of Contents
Monitoraggio processi con Monit
In generale un processo (demone) una volta lanciato deve funzionare, punto e basta. Può capitare però che per colpa di qualche bug non ancora risolto, il processo muoia e sia neccessario riavviarlo manualmente.
E' il caso di Spamassassin 3.3.2 con Perl 5.14.2 su Debian Wheezy, ogni tanto il processo spamd muore senza motivo. Nei file di log si trova:
spamd[4563]: prefork: adjust: 10 idle children more than 9 maximum idle children. Decreasing spamd children: 27150 killed. spamd[4563]: spamd: handled cleanup of child pid [27150] due to SIGCHLD: interrupted, signal 2 (0002) spamd[4563]: spamd: handled cleanup of child pid [27151] due to SIGCHLD: interrupted, signal 2 (0002)
e poi niente altro (il processo spamd padre è morto). Potrebbe trattarsi di un bug, secondo i seguenti post:
Come workaround al problema si installa monit, che semplicemente monitora la presenza del demone spamd e se necessario lo riavvia.
Configurazione di monit
Questo lo snippet di configurazione da salvare in /etc/monit/conf.d/spamd:
check process spamd with pidfile /var/run/spamd.pid group spamd start program = "/etc/init.d/spamassassin start" stop program = "/etc/init.d/spamassassin stop" if 5 restarts within 5 cycles then timeout if cpu usage > 99% for 5 cycles then alert if mem usage > 99% for 5 cycles then alert depends on spamd_bin depends on spamd_rc check file spamd_bin with path /usr/sbin/spamd group spamd if failed checksum then unmonitor if failed permission 755 then unmonitor if failed uid root then unmonitor if failed gid root then unmonitor check file spamd_rc with path /etc/init.d/spamassassin group spamd if failed checksum then unmonitor if failed permission 755 then unmonitor if failed uid root then unmonitor if failed gid root then unmonitor
Attenzione: Monit esegue un ciclo di test ogni due minuti (impostazione predefinita Debian, vedi set daemon 120 in /etc/monit/monitrc). Quando deve riavviare un servizio attende fino a 30 secondi per lo stop e lo start dello stesso, è possibile modificare tale tempo con l'opzione with timeout. In base a questi parametri bisogna aggiustare il timeout (cioè quando scatta l'interruzione del monitoraggio) dopo un certo numero di restart avvenuti in un certo numero di cicli (if 5 restarts within 5 cycles then timeout). In caso contrario si ottiene
... [CET Mar 28 16:53:40] info : 'spamd' start: /etc/init.d/spamassassin [CET Mar 28 16:54:11] error : 'spamd' failed to start [CET Mar 28 16:56:11] error : 'spamd' process is not running [CET Mar 28 16:56:11] info : 'spamd' trying to restart [CET Mar 28 16:56:11] info : 'spamd' start: /etc/init.d/spamassassin [CET Mar 28 16:56:43] error : 'spamd' failed to start [CET Mar 28 16:58:43] error : 'spamd' service restarted 5 times within 5 cycles(s) - unmonitor
Ecco quindi una configurazione che insiste più a lungo per riavviare il servizio e che esegue una azione drastica (killall -9) se il restart fallisce per 4 volte. Attenzione che il killall deve uccidere sia i processi chiamati spamd che i processi chiamati spamd child:
... start program = "/etc/init.d/spamassassin start" stop program = "/etc/init.d/spamassassin stop" with timeout 60 seconds if 4 restarts within 4 cycles then exec "/usr/bin/killall -9 --regexp 'spamd\b.*'" if 10 restarts within 10 cycles then timeout ...
Poi alcuni parametri sono stati aggiustati in /etc/monit/monitrc:
set daemon 120 # check services at 2-minute intervals
with start delay 240 # optional: delay the first check by 4-minutes (by
set mailserver localhost
set mail-format { from: sistema@texnet.it } # Set custom From: mail header
set alert support@texnet.it # receive all alerts
set httpd port 2812 and
use address 62.48.51.60 # only accept connection from localhost
allow 62.48.51.60 # allow localhost to connect to the server and
allow 62.48.51.8 # allow a remote host to connect to the server and
allow admin:MySecret # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
Interruzione del monitoraggio
Se un processo monitorato si blocca, viene tentato il suo riavvio. Potrebbe capitare che il processo non riesca a partire nei tempi previsti, ad esempio spamd che non ha rilasciato il socket:
spamd[8042]: spamd: could not create INET socket on 127.0.0.1:783: Address already in use
In tal caso il processo non viene più sottoposto a monitoraggio, neanche dopo un reboot. Si può verificare lo stato con:
monit summary
Per riattivare il monitoraggio:
monit monitor spamd
Questo comando funziona solo se è stata attivata la funzione integrata di server http (vedi configurazione set httpd sopra). Altrimenti come si fa ad attivare un monitoraggio disabilitato? 