MSNbot un utente troppo invadente

mix

MSNbot un utente troppo invadente

Anche questo mese ( novembre ) ho acquistato una delle mie riviste preferite Internet Magazine e sfogliando le pagine ho fatto una bella scoperta.

L'articolo viene intitolato: "Il tuo server web è lento? Ecco perchè".

L'artico è scrito da Robin Good e tradotto in italiano da Alessandro Banchelli.

Il caro Robin Good ha dei problemi con il suo serer in determinate ora della giornata, ha provato di tutto ma nessuna soluzione, il server continuava ad andare lento, da qui una scoperta per me assurda, i continui rallentamenti e crash del server erano dovuti ad un **utente troppo invadente: MSNbot.

**Cercacando sulla rete ho letto che anche altri webmaster hanno avuto questo stesso problema: MSNbot svolge una attivita che assomiglia ad un attacco denial of service.

Si consiglia di tener traccia di quante richieste simulatanee MSNbot fa al server.

Di seguito vi posto una lista incompleta ( sempre presa da internet magazine) delle cose che MSNbot fa di rutine sul sito masternewmedia.com per farvi capire quanto può essere invasivo:

fa il fetch in maniera ripetitiva di grandi file binari, inclusi immagini ISO di 500 Mb, 21 ewxuperi di 4 file per 3.7 giga di trasferimenti in una settimana. Maggiori informazioni su http://utcc.utoronto.ca/~cks/space/blog/web/MSNbotBinariesProblem
fa il fatch dei feed,1615 fetch di 329 feed per 45 Mb di trasferimenti alla settimana. La metà dei 10 feed più richiesti non hanno subitocambiamenti. Maggiori informazioni su http://utcc.utoronto.ca/~cks/space/blog/web/MSNbotCrazyRSSBehavior
non usa mai il get condizionale, anche quando fa il fetch aggressivo dei feed RSS http://utcc.utoronto.ca/~cks/space/blog/web/AtomReadersAndCondGet?showcomments
Fa di continuo il crawking del contenuto che non cambia e degli errori di pagina http://utcc.utoronto.ca/~cks/space/blog/web/CrazyMSNCrawlerPer risolvere questi problem si consiglia una buona gestione del file rebots.txt