google bot

[felicity]

qualcuno può dirmi cos'è "google bot" che è sempre presente nel mio forum tra gli utenti connessi?

[probid]

E' google che visita il forum per indicizzarlo

[felicity]

l'avevo immaginato, ma oggi ho letto su un forum (non qui...) di un tizio che l'ha bannato, quindi mi era venuto il dubbio che fosse qualcosa di poco positivo... allora ho chiesto conferma a voi ... )
mercì

[ccardello]

Vorrei agganciarmi a questo argomento per esporre il mio problema:
mi sono interessato di googlebot relativamente ad altra questione (ho un topic in altra sezione) su uno dei forum da me realizzati. Studiando "quel" problema, mi sono imbattuto in altro più serio su un altro forum sempre da me gestito che risiede su un hosting a pagamento con 15gb di banda limite......vengo alla questione:


Lo scorso febbraio ho aperto un forum su hosting web a pagamento.
Bene....il sito (un forum) ha generato un certo traffico, più o meno intenso durante l'anno, ma ultimamente abbastanza stabile....quello di cui mi sono accorto è che però col tempo googlebot mi sta "saturando" tutta la banda a mia disposizione.

Nello specifico:

Febbraio: 200kb (forum partito a fine mese)
Marzo: 17mb
Aprile: 64mb
Maggio: 1.88gb
Giugno: 825mb
Luglio: 904mb
Agosto: 1.35gb
Settembre: 670mb
Ottobre: 4.14gb
Novembre: 9.21gb
Dicembre: 12.25 (ad oggi)

Come potete ben vedere, a fronte di 15gb di banda mensile disponibile, ed a fronte di un traffico sul forum mediamente stabile, i valori sono schizzati a dismisura negli ultimi periodi. Premesso che tutti gli altri spider, dai dati statistici, hanno sempre tenuto un comportamento uniforme e mai "pressante" in termini di banda, google ora mi da questo serio problema, di questo passo infatti il mese prossimo non avrò banda per generare traffico sul forum (google mi saturerebbe tutto) e non arriverei a fine mese.
Che faccio?

[Webtronic]

ccardello

Che faccio?

se sei veramente sicuro che Googlebot ti saturi la banda (perdonami ma mi sembra strano), puoi far si che ti scansioni il sito più lentamente tramite i webmaster tools che google mette a disposizione.

[ccardello]

Ciao web, ti dico con sicurezza che è googlebot.
Dalle statistiche c'è il report di tutti gli spider che vengono a trovarmi, e se gli altri (yahoo, msn ecc) sono molto discreti e non superano un certo minimo di mb al mese, googlebot mese per mese ha subito questi assurdi incrementi che non capisco. Per conferma ogni volta vado a vedere l'ip dello spider e corrisponde a quello di googlebot (ulteriore conferma poi dalle stats). Aggiungo che è solo forum, non c'è audio, nè video, nè altro che possa prendere banca nel traffico del forum.

Avevo una sitemap generata 3 settimane fa (ma come vedi il problema è ben precedente) con un tool online e uppata sulla root....l'ho cancellata per ogni evenienza ma anche oggi la banda sta terminando....non sono molto pratico, ma al momento mi preme urgentemente solo di inibire totalmente lo spider, della serie "non voglio che tu venga qui"....posso fare qualcosa? (così poi con calma posso vedere di sistemare tutto il resto)

[Fuffissima]

ccardello

non sono molto pratico, ma al momento mi preme urgentemente solo di inibire totalmente lo spider, della serie "non voglio che tu venga qui"....posso fare qualcosa? (così poi con calma posso vedere di sistemare tutto il resto)

Inibire lo spider implica essere disposti a rinunciare (anche solo temporaneamente) al traffico proveniente dai motori.
Se in questo momento la tua priorità non è quella di far crescere i ritorni economici generati dalle visite sul tuo forum ma è quella di contenere i costi del servizio di hosting puoi implementare un file robots.txt che blocchi lo spider di Google, in alternativa sarebbe il caso di valutare servizi di hosting alternativi e più performanti.

In ogni caso verifica anche il passaggio di altri spider meno conosciuti che potrebbero influire anch'essi sul consumo di banda.

[uela]

a me non viene a visitarmi mai, xchè? 6 mesi fa lo faceva molto di frequente

[ccardello]

Fuffissima

Inibire lo spider implica essere disposti a rinunciare (anche solo temporaneamente) al traffico proveniente dai motori.
Se in questo momento la tua priorità non è quella di far crescere i ritorni economici generati dalle visite sul tuo forum ma è quella di contenere i costi del servizio di hosting puoi implementare un file robots.txt che blocchi lo spider di Google, in alternativa sarebbe il caso di valutare servizi di hosting alternativi e più performanti.

In ogni caso verifica anche il passaggio di altri spider meno conosciuti che potrebbero influire anch'essi sul consumo di banda.

grazie per il link.....ti confermo che la priorità era quella di fermarlo per non saturare la banda......ti confermo che era il solo googlebot ad avere un comportamento anomalo mentre tutti gli altri (stats alla mano, erano spider "discreti")...tra l'altro ho notato leggendo anche su wikipedia che anche ad altri è successa la stessa cosa mia, con lo spider che succhiava banda a raffica senza un vero perchè. Ad ogni modo, risolto questo problema, con tranquillità ora vedrò come ripristinare il tutto e credo che la cosa migliroe sia utilizzare i tool di google, così come mi è stato suggerito, così da obbligare lo spider a fare visita solo negli intervalil prestabiliti.....
grazie