• User Attivo

    Errore rilevamento robots e strano funzionamento di Visualizza come Google

    Salve,
    da qualche giorno, in uno dei siti che gestisco, il GWT mi segnala che non riesce a recuperare il robots.txt.
    Se digito la url del file robots.txt, lo vedo regolarmente e non è stato cambiato nulla da prima.
    In GWT, sto provando a fare il recupero con "Visualizza come Google": la cosa strana è che, oltre al fatto che resta "in attesa", la pagina continua a ricaricarsi ogni 4/5 secondi. Ho provato ad aggiungere un'altra pagina da recuperare (una pagina normale del sito), ma resta in attesa anche quella.
    E' un comportamento normale di GWT?
    Cosa posso fare per sistemare il recupero del robots?
    Grazie fin da ora.
    Hikari


  • User Attivo

    Ciao ikari

    Se non hai fatto modiofiche al tuo robots allora può essere GWT che fà i capricci, ma per sicurezza ti chiedo cosa contiene il file robots e se per caso hai notato comportamenti strani nel sito tipo pagine indicizzate ce avevi bloccato nel robots ecc


  • User Attivo

    Ciao Lorenzosa, grazie per l'aiuto.
    Non ho notato niente di strano e modifiche al robots non ne sono state fatte da me "manualmente", viene generato in automatico dal CMS con cui è fatto il sito ("spip", un cms pessimo...).
    Il contenuto del file robots è (modifico le url sennò non posso postare):

    robots.txt# @url: ....# @generator: SPIP 2.1.19 [19922]# @template: squelettes-dist/robots.txt.htmlUser-agent: *Disallow: /local/Disallow: /ecrire/Disallow: /extensions/Disallow: /lib/Disallow: /plugins/Disallow: /prive/Disallow: /squelettes-dist/Disallow: /squelettes/Sitemap: ....