Dubbio sugli Spider Google

[Un Ex Utente]

Dubbio sugli Spider Google

Vi sottopongo una stranezza (per me almeno) che ho notato in questi giorni.
Premetto che utilizzo Vbulletin e che dal pannello dei visitatori è possibile vedere gli IP e quale pagina l'utente sta visualizzando.

Bene, da qualche giorno ho notato che ci sono alcuni (1 o 2) spider di google praticamente fissi sul forum, e ogni volta che un utente visualizza una pagina, immediatamente il bot cerca di accedervi.

Un esempio di bot
crawl-66-249-73-167.googlebot.com

Ma è normale tutto questo?
Come è possibile che un bot interagisca in tempo reale?

Potrebbe non essere un bot (o essere un finto bot)?

AI

[pieropan]

@archeoita said:

Bene, da qualche giorno ho notato che ci sono alcuni (1 o 2) spider di google praticamente fissi sul forum, e ogni volta che un utente visualizza una pagina, immediatamente il bot cerca di accedervi.

Un esempio di bot
crawl-66-249-73-167.googlebot.com

Fico. Molto interessante, potresti postare (anche in pvt se credi) un pezzetto di log in cui si veda il fenomeno?

Sarebbe molto utile un listato completo dei bot di una giornata e un pezzo di log crudo di qualche ora (meno se è un sito molto trafficato) con tutte le attività.

Se dai ste robe vedrai che qualcuno ti aiuta, sento già sfrigolare il lato seo del cervello di un bel gruppo di utenti del forum.

[Un Ex Utente]

Il sito è in fase di indicizzazione... probabilmente in queste ore google sta indicizzando le pagine (ieri me lo dava indicizzato anche se non aveva ancora catturato le pagine, ma immagino che entro oggi-domani qualche centinaio di pagine entreranno in serp).
Potrebbe essere questo il motivo?

AI

[pieropan]

Certo che potrebbe essere quello il motivo: un deep crawling.
Il punto è il modo in cui avviene... dici che ti sembra di notare un ingresso dello spider sulla pagina subito dopo la visita di un IP apparentemente normale.

Questo intriga abbastanza. Dai.... dacci un pezzetto di log, anche piccolo piccolo.

Ciao.

[paolino]

se questa cosa è confermata è una rivoluzione

la mia idea sarebbe che la Google Toolbar comunica la nuova pagina appena scoperta, tuttavia che il bot segua a ruota è decisamente complicato da fare, in quanto le informazioni della barra andrebbero gestite in tempo reale e se Google è arrivato a tanto, beh, buona notte a tutti gli altri....a questo punto è meglio se MS, Yahoo e compagnia comprano un fazzoletto di terra è ci piantano un bananeto

[Un Ex Utente]

non uso google toolbar... il traffico l'ho notato sulle mie visite (ho fatto alcune decine di prove)

ora vedo di rimediarvi un pezzetto di log

AI

[Un Ex Utente]

Ecco alcuni esempi

87.11.XXX.XXX - - [25/May/2007:17:46:21 +0200] "GET /forum/tema-del-mese-preparazione-alla-discussione/1216-aprile-proposta-tema-discussione-2.html HTTP/1.1" 200 18502
66.249.73.167 - - [25/May/2007:17:46:22 +0200] "GET /forum/tema-del-mese-preparazione-alla-discussione/1216-aprile-proposta-tema-discussione-2.html HTTP/1.1" 200 16373 "-" "Mediapartners-Google/2.1"

81.73.XXX.XXX - - [25/May/2007:17:47:05 +0200] "GET /forum/private.php HTTP/1.1" 200 8699
66.249.73.167 - - [25/May/2007:17:47:07 +0200] "GET /forum/private.php HTTP/1.1" 200 5660 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:17:48:18 +0200] "GET /forum/online.php HTTP/1.1" 200 7248
66.249.73.167 - - [25/May/2007:17:48:19 +0200] "GET /forum/online.php HTTP/1.1" 200 5659 "-" "Mediapartners-Google/2.1"

87.1.XXX.XXX - - [25/May/2007:18:01:17 +0200] "GET /forum/orientamento/499-consiglio-universita-archeologia.html HTTP/1.1" 200 15710
66.249.73.167 - - [25/May/2007:18:01:18 +0200] "GET /forum/orientamento/499-consiglio-universita-archeologia.html HTTP/1.1" 200 14016 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:05:45 +0200] "GET /forum/roma-sport/ HTTP/1.1" 200 9588
66.249.73.167 - - [25/May/2007:18:05:46 +0200] "GET /forum/roma-sport/ HTTP/1.1" 200 7559 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:20 +0200] "GET /forum/roma-quartiere-prenestino-centocelle/ HTTP/1.1"
66.249.73.167 - - [25/May/2007:18:06:22 +0200] "GET /forum/roma-quartiere-prenestino-centocelle/ HTTP/1.1" 200 7484 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:24 +0200] "GET /forum/roma-quartiere-appio-claudio/ HTTP/1.1" 200 9527
66.249.73.167 - - [25/May/2007:18:06:25 +0200] "GET /forum/roma-quartiere-appio-claudio/ HTTP/1.1" 200 7477 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:28 +0200] "GET /forum/roma-quartiere-don-bosco/ HTTP/1.1" 200 9520
66.249.73.167 - - [25/May/2007:18:06:29 +0200] "GET /forum/roma-quartiere-don-bosco/ HTTP/1.1" 200 7469 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:06:32 +0200] "GET /forum/roma-quartiere-ardeatino/ HTTP/1.1" 200 9517
66.249.73.167 - - [25/May/2007:18:06:34 +0200] "GET /forum/roma-quartiere-ardeatino/ HTTP/1.1" 200 7462 "-" "Mediapartners-Google/2.1"

87.4.XXX.XXX - - [25/May/2007:18:07:44 +0200] "GET /forum/online.php?order=asc&sort=username&pp=20&page=1 HTTP/1.1" 200 7136
66.249.73.167 - - [25/May/2007:18:07:45 +0200] "GET /forum/online.php?order=asc&sort=username&pp=20&page=1 HTTP/1.1" 301 - "-" "Mediapartners-Google/2.1"

87.19.XXX.XXX - - [25/May/2007:18:12:18 +0200] "GET /forum/utente/-polluce-.html HTTP/1.1" 200 7105
66.249.73.167 - - [25/May/2007:18:12:20 +0200] "GET /forum/utente/-polluce-.html HTTP/1.1" 200 6264 "-" "Mediapartners-Google/2.1"

Questa è l'analisi dell'IP del bot
66.249.73.167
US - CA - California - Mountain View - 94043 - 37.4192 - -122.0574
Google

Ho fatto alcune ricerche in rete e alcuni parlano di un falso bot non di google con quel "mediapartners", in realtà però l'IP risulta assegnato a Google... sinceramente non riesco a capire come possano fare a catturare in 1-2 secondi la pagina appena visitata.

Evidentemente c'è un rapporto tra AdSense installato sul sito e i crawlers di Google... oppure non saprei...

AI

[Un Ex Utente]

ah... effettivamente si tratta di uno spider di AdSense... ecco spiegato il motivo.
Ma è normale che scarichi ogni volta una pagina?!?

AI

[paocavo]

Si.

Lo spider di adsense segue costanetemente le pagine richieste al tuo web server per meglio adattare gli annuci al testo che rileva. Se i contenuti cambiano frequentemente allora tanto frequentemente riceverai visite da Mediapartners-Google/2.1

Successivamente, con mooolta calma, Mediapartners-Google/2.1 comunicherà a GoogleBot eventuali nuove pagine da indicizzare linkate da quelle che ha visitato.

[marcolin]

Secondo voi, i bot indicizzano anche le pagine link postatae tipo

[marcolin]

Ci siete?

[marcolin]

Ehi?

[marcolin]

Boh.

[wolf.otakar]

Ciao marcolin e benvenuto nel Forum GT!:)

Ti ricordo, che il forum non è un servizio di consulenza ed ha tempi tecnici di risposta.

Se necessiti di una consulenza più tempestiva puoi utilizzare le "Consulenze GT".