• User

    Robots.txt

    Salve,
    in GWT, sotto "Salute->URL bloccati" trovo il contenuto del file robots.txt. Però non mi carica il contenuto effettivo del file robots.txt che ho in linea in quel momento, bensì un file vecchio. Se carico il link del nuovo file robots.txt nella barra degli indirizzi del browser mi visualizza il mio file aggiornato. Devo attendere qualche ora perché GWT lo veda?

    Grazie

    Gg


  • User Newbie

    Ciao,

    di norma devi aspettare almeno 24 ore prima che l'aggiornamento venga rilevato, a volte di più.

    Ad ogni modo puoi tentare di forzare il parse del file da salute->visualizza come google in GWT indicandogli /robots.txt come pagina da rilevare.

    ciao!


  • User

    Grazie. Ho provato ad aspettare 24 ore e fare com dici ma rimane lo stesso problema. Tra l'altro è grave perché il file robots attuale è:

    User-agent: *
    Disallow: /

    Devo attendere ancora? grazie


  • Moderatore

    La copia del robots.txt mostrata da GWT->"Salute"->"URL bloccati" sembra non essere quella in cache nell'indice, valida - come correttamente adn fa notare - per tipicamente 24h. E' una copia a sé stante.

    Quando osservi dovrebbe essere solo un problema dello strumento di diagnostica.
    Per toglierti il dubbio, prova con "Visualizza come Google" su una pagina qualunque che sarebbe bloccata secondo il vecchio robots.txt, se va a buon fine vuole dire che il robots.txt effettivamente visto da Google (il motore di ricerca, non GWT) è quello nuovo.

    Il ritardo con cui GWT aggiorna tale copia è un fastidioso problema, aggravato dalla mancanza di uno strumento dedicato per aggiornare la visualizzazione.

    Anch'io - come adn - in passato con "Visualizza come Google" sul robots.txt stesso e conseguente "Invia all'indice" sono riuscito dopo un poco a vedere la versione aggiornata, ma non posso giurare sia stato un fenomeno "causa-effetto" o una semplice concomitanza casuale di eventi.

    Nota: anche se non vedi la versione aggiornata, puoi comunque testare la nuova copiando nella textarea la nuova versione del robots.txt

    Spero d'essere stato utile


  • User Newbie

    Esatto, a volte con G bisogna solo munirsi di tanta pazienza 😉


  • Admin

    Controlla che tu non abbia settato degli expire header sul file robots.txt.

    Controlla i log del server per vedere se googlebot sta setacciando il tuo sito.