• redsector
    Moderatore •

    robots.txt ed errori 404 fantasma

    Ho un file robots.txt corretto (ovvero è raggiungibile, è scritto tutto minuscolo ed è validato con i tool webmaster google), però andando a guardare i log apache, noto che molto spesso rispondo 404 alla richiesta.

    "GET /robots.txt HTTP/1.0" 404
    "GET /robots.txt HTTP/1.1" 404

    Non riesco a capire al 100%.
    Ho letto che questo errore possa venire imputato ad una cattiva risposta 304, ma di fatto non riesco a venirne a capo.

    Con firefox se guardo le headers ho prima un 200 e poi un 304, mai un 404.

    Ad esempio nel log ho:
    66.249.65.200 - - [23/Oct/2009:07:37:48 +0200] "GET /robots.txt HTTP/1.1" 404 580 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    66.249.65.200 - - [23/Oct/2009:09:43:34 +0200] "GET /robots.txt HTTP/1.1" 200 122 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    Come si vede la richiesta è proveniente dallo stesso ip, una volta gli ho risposto 200, un'altra 404.

    Qualcuno sa dove posso controllare?

    0
  • giorgiotave
    Community Manager •

    Un up per Redsector!

    Idee ragazzi?

    0
Effettua l'accesso per rispondere