• User

    Robots.txt non viene visto su URL ftp anonimo

    Ciao a tutti ragazzi,
    scrivo qui per porre un problema che ho avuto con Google e Robots.txt

    Ho un Nas che viene visto anche da internet via FTP protetto da password, ove però vi era anche una cartella con accesso anonimo consentito.
    Inavvertitamente Google ha indicizzato tutta questa cartella mettendo nelle sue SERP proprio l'URL di tipo FTP Ho provveduto a metterla in sicurezza (cancellando i file), ma resta il problema della copia cache, per cui vorrei eliminarla definitivamente dalle liste.

    Dato che la cosa è abbastanza urgente, perchè vi sono dei dati sentibili, non volevo aspettare che ripassi lo spider (anche perchè sono circa 40.000 file). Ho validato quindi il sito da Google webmaster tool ed ho messo un robots.txt nella root per comunicargli il "disallow" della root.
    L'Ftp è sempre ad accesso anonimo, infatti dal browser riesco a leggere il file di robots.txt
    Tuttavia lo strumento di test robots non mi da alcun risultato, se non una linea grigia, come se il file fosse vuoto. Qualisasi cosa scrivo nel file di robots.txt non viene vista.

    Qualcuno sa da cosa può dipendere? O darmi qualche dritta?

    Grazie.


  • Moderatore

    Ciao Atmel,

    hai provato a testare il robots.txt con lo strumento "Visualizza come Google" di Google Webmaster Tools?