• User Attivo

    URL limitati da robots.txt in Strumenti per Webmaster

    Ciao a Tutti,
    Io ho un problema.....negli Strumenti per Webmaster del servizio di Google nella voce "URL Limitati dal Robots.txt" ho migliaia di pagine che mi dice che sono limitate dal robots.txt

    In effetti è cosi perchè sono pagine magari con variabili che però non mi interessa indicizzare.

    Come posso fare per eliminarle da quell'indice non facendole cmq indicizzare dai motori di ricerca?

    se metto nelle pagine <meta name="robots" content="noindex"> e non le inserisco nel robots.txt va bene?

    Datemi un consiglio e soprattutto se avere cosi tante pagine limitate dal robots.tx può causare qualche problema di indizzazione?


  • Super User

    sebbene sostanzialmente identici come risultato, il robots txt impedisce agli spider di scaricare la pagina PRIMA, mentre per leggere il noindex devono scaricarla e leggerla. Col meta consumi banda, col robots no.

    Non vedo altri problemi.


  • User Attivo

    Quindi se ho tante pagine in quella sezione non vi è nessun problema per il posizionamento?


  • User Attivo

    @giordy84 said:

    Ciao a Tutti,
    Io ho un problema.....negli Strumenti per Webmaster del servizio di Google nella voce "URL Limitati dal Robots.txt" ho migliaia di pagine che mi dice che sono limitate dal robots.txt

    ...

    Datemi un consiglio e soprattutto se avere cosi tante pagine limitate dal robots.txt può causare qualche problema di indiczzazione?

    Sembra di capire che tu hai la session ID nella URL che genera copie illimitate della stessa pagina con URL diverse proprio per la sessione. Se così fosse non solo non è un danno ma è un bene per il tuo sito, anzi devi fare in modo che anche le sessione di ricerca siano indicate nel robots.txt per impedirne l'indicizzazione (lo richiede Google nei terms of use dalla primavera scrosa).

    Quindi non mi preoccuperei di avere "molte pagine" indicate come bloccate dai motori di ricerca - l'importante è che quelle pagine non accessibili dai motori siano effettivamente delle pagine duplicate o comunque pagine che tu voglia effettivamente escludere dalle attività di indicizzazione :smile3: