Salve ragazzi, sperando di non aver sbagliato la sezione in cui inserisco questo
post, vi segnalo e vi chiedo aiuto per un "fenomeno paranormale".
Ho i miei clienti su un virtual
server. La soluzione acquistata quasi 2 anni fa è ottima per caratteriste offerte e per un prezzo abbordabilissimo, ma carente per assistenza e per affidabilità del servizio. 2 mesi fa il virtual server ha incominciato a rallentarsi vistosamente e spesso è down. Ci è sembrato naturale bestemmiare il fornitore visti altri precedenti e alcune risposte davvero evasive o improbabili alle nostre domande disperate sul problema in questione.
Però ieri ho fatto una scoperta a mio modo di vedere sconcertante. Osservando attentamente le statistiche di Awstats di un mio cliente che ha circa 2000 utenti unici al mese, mi ha stupito il consumo di banda che questo sito produce negli ultimi tempi (non coerente con quello di tutti i 12 mesi precedenti). Nel mese di settembre 50gb di traffico visualizzato (derivante dai visitatori del sito) e quasi 200gb di traffico NON visualizzato (derivante da
spider,
robots e roba simile).
Il trend è in linea anche nel mese di Ottobre. Questi dati degli ultimi 2 mesi sono circa 10 volte o più superiori ai mesi precedenti a Settembre.
Andando a spulciare nei log vari, ci siamo resi conto che questo robot Twiceler-0.9 ritorna a scandagliare le pagine del sito ogni 2/3 secondi,
producendomi nel mese di settembre circa 3.000.000 di accessi per un consumo di banda di più di 150gb. C'è un altro dato stranissimo, le statistiche mi riportano quasi 1.000.000 di pagine viste, roba improponibile per un sito che ha solo 2.000 visitatori unici.
Oltre che disabilitare l'accesso a questo spider dal file
robots.txt o segnalare gli
ip da cui proviene da bannare a chi mi fornisce il virtual server, cosa posso fare?
Alcuni di voi si sono trovati nella stessa situazione? E' ipotizzabile che questo robot sia se non il responsabile, ma almeno co-responsabile del generale rallentamento? Nel contratto non si parla di un limite di banda, ma deduco che uno ce ne sia per forza.
