• User Attivo

    i motori e robots.txt

    Qualcuno ha esperienze concrete di quali motori apprezzano realmente la presenza o meno del file robots.txt? E questa preferenza, incide sul posizionamento di un sito?

    Ad esempio si evince dalle pagine dei Webmasters Tools che Google apprezza un sito che presenta robots.txt

    Non so se la mia è una domanda stupida, ho fatto una ricerchina per i forum ma non ho trovato molto.

    :ciauz:


  • Super User

    Ci sono opinioni contrastanti al riguardo. Non so dirti quali motori non lo considerino, non mi sono mai posto il problema onestamente.

    Google sicuramente lo apprezza. I benefici del robots non li so valutare, so però che ogni volta che i bot iniziano la scansione (parlo dei bot di google) cercano il robots. Se non lo trovano arriva un 404 e a me sembra, come dire, cosa non buona.