• User

    Un caso da studio: sito noindex in prima posizione.

    Secondo Voi un sito che è completamente noindex in tutte le sue pagine inclusa la homepage può risultare primo in serp per la principale keyword di settore e per molte altre kw?


  • Moderatore

    Ciao nwa,

    @nwa said:

    Secondo Voi un sito che è completamente noindex in tutte le sue pagine inclusa la homepage può risultare primo in serp per la principale keyword di settore e per molte altre kw?
    In linea teorica sì, nel senso che un sito con il meta noindex su tutte le pagine può essere comunque indicizzato in presenza di segnali contrastanti.
    Per esempio: se fosse bloccato da robots.txt, il bot non potrebbe vedere i noindex e se trovasse sufficienti link potrebbe non solo indicizzarlo, ma anche posizionarlo bene.

    Altro esempio in cui il noindex possa essere ignorato: la presenza del gadget con il pulsante G+ in tutte le pagine. Da documentazione Google questo implica l'ignorare il noindex. La pagina sarebbe in questo caso anche visitata dal bot di Google, oltre che indicizzata.

    Altra possibilità: sito precedentemente crawl-ato, indicizzato e posizionato, su cui è stato posto un noindex dopo l'ultima visita dello spider.

    La tua domanda generica costringe a risposte generiche, mantenendosi sul teorico. Poi bigognerebbe vedere il caso reale.

    Spero d'esserti stato utile

    P.S.:
    Personalmente ti contesto il titolo a mio avviso fuorviante: definisci il post come "caso da studio", ma non specifichi nemmeno un URL da esaminare.


  • Super User

    In termini di effetti SEO credo che esista una differenza tra il noindex tramite meta e tramite Robots.txt

    Corretto?


  • Moderatore

    Ciao Danilo!

    @Danilo Chiantia said:

    In termini di effetti SEO credo che esista una differenza tra il noindex tramite meta e tramite Robots.txt

    Corretto?
    So bene mi stai porgendo una domanda di cui conosci bene la risposta a beneficio d'altri utenti del forum... OK, abbocco 🙂

    Vi sono tre modi di esprimere noindex, due ufficiali, e (parlo solo del caso di Google) uno "non ufficiale".

    Tramite robots meta tag
    aggiungendo nell'head del contenuto html della pagina il seguente meta tag:
    [HTML]<meta name="robots" content="noindex" />[/HTML]
    oppure
    [HTML]<meta name="googlebot" content="noindex" />[/HTML]
    per bloccare solo il web bot di google.

    In questo caso il bot del motore di ricerca richiede al web server la pagina, la scarica, ne interpreta l'html per leggerne il meta tag, e poi "la scarta" dall'indice (in realtà memorizza l'URL e si segna di non mostrarlo).

    Tramite header http
    decorando l'header della risposta http con la seguente coppia nome-valore:

    X-Robots-Tag: noindex
    

    In questo caso il bot del motore di ricerca richiede al web server la pagina, ne legge l'header, ed è già in grado di decidere di scartare la pagina già prima di scaricarne il corpo.

    Tramite direttiva noindex: in robots.txt
    metodo non ufficiale, non ufficialmente supportato da Google.

    Nella mia risposta precedende nel dire "bloccato da robots.txt" intendevo "bloccato da direttiva "Disallow:" nel robots.txt
    es:

    Disallow: /pagina-bloccata.html
    

    In tale caso il bot non può richiedere la pagina, ma se vi sono link ritenuti importanti a essa, è possibile essa venga indicizzata e mostrata in SERP (di solito sono risultati visibili a fondo SERP cliccando un link esplicito, e al posto della meta descrizione vi è una nota a spiegare la risorsa è bloccata da robots.txt). Se la pagina avesse un meta robots noindex, il motore di ricerca non potrebbe saperlo; per questo alcune pagine noindex appaiono in SERP.

    Google tuttavia ha implementato in via non ufficiale anche la direttiva "noindex:"

    Noindex: /pagina-bloccata.html
    

    L'effetto finale è analogo a quello dei casi precedenti, solo il processo è più efficiente perché non comporta azioni da parte del bot.
    La direttiva è stata una proposta da molto tempo, tuttavia mai supportata ufficialmente dai motori di ricerca. Fu Enrico Altavilla a "scoprirne" l'uso in un robots.txt di Google, testare la direttiva e illustrarcela. John Mueller di Google confermò. Ovviamente entrambi sono stati molto rigorosi nel ricordare di non fare affidamento su correttezza di implementazione e supporto futuro della direttiva.

    Spero d'essere stato utile a qualcuno


  • Super User

    "qualcuno" ringrazia 🙂


  • Admin

    Io ho fatto parecchi test e nonostante una quantità notevole di +1 in presenza di noindex esclusivo sulla risorsa non c'è traccia in SERP (anche se nella documentazione di Google viene detto che la possibilità esiste come ha giustamente scritto Federico).


  • Super User

    Penso non debba essere esclusa l'eventualità che Google ha fornito qella specifica indicazione per forzare l'utilizzo di Google Plus. Ovviamente, mi auguro di sbagliarmi.


  • Moderatore

    @Juanin said:

    Io ho fatto parecchi test e nonostante una quantità notevole di +1 in presenza di noindex esclusivo sulla risorsa non c'è traccia in SERP
    Ora ricordo il tuo esperimento 🙂

    Per la cronaca, non trovo più traccia nella documentazione di Google della famosa frase "may fetch and show that page even if it is disallowed in robots.txt or includes a meta noindex tag." (la pagina originale è redirezionata a una pagina generica oggi).

    Ragionandoci un po', il bot deve poter ignorare il robots.txt in caso di condivisione +1, perché deve poter estrarre titolo e descrizione, ma è possibile - questo lo ipotizzo io, non è che lo sappia - il poter mostrare il contenuto in SERP nonostante il noindex non sia più vero.


  • Admin

    Sì infatti per il robots.txt vale esattamente come dici e vale come in ogni altro caso così come il noindex e dunque non sembra esserci una regola particolare, ma semplicemente il comportamento classico.


  • User

    Che bella discussione! Posso fare una domandina anche io? su un sito ho una landing composta da una pagina + un link ad una pagina "compra ora". Alla pagina "compra ora" ho settato il no-follow ma nonostante tutto negli strumenti per webmaster il caro bot me l'ha indicizzata ben 3 volte (dato che accodo delle variabili interne a seconda della call action). Mi spiegate perchè?


  • Moderatore

    Ciao GaetanoM,

    @GaetanoM said:

    su un sito ho una landing composta da una pagina + un link ad una pagina "compra ora". Alla pagina "compra ora" ho settato il no-follow ma nonostante tutto negli strumenti per webmaster il caro bot me l'ha indicizzata ben 3 volte (dato che accodo delle variabili interne a seconda della call action). Mi spiegate perchè?
    Scusa, non mi è chiaro del tutto dalla domanda dove hai impostato nofollow.

    Hai forse impostato l'attributo rel="nofollow" sul link che realizza il pulsante di Call To Action?
    In tale caso è solo un'indicazione di non considerare il link per esplorare la pagina di destinazione, ma questa potrebbe essere raggiunta da altri percorsi. L'attributo non indica se indicizzare o meno la pagina, solo di non esplorarla a partire da quel preciso link.
    Nota la sintassi, il valore dell'attributo è "nofollow", non "no-follow" come hai scritto.

    Oppure hai impostato il seguente meta tag
    [HTML]<meta name="robots" content="nofollow" />[/HTML]
    sulla pagina di destinazione della call to action?
    In tale caso avresti dovuto impostare
    [HTML]<meta name="robots" content="noindex" />[/HTML]

    Perdonami se ho fatto domande banali, ne sono stato costretto dall'ambiguità della domanda.


  • User

    Si mi è chiaro l'errore ed è proprio quella la cosa che ho fatto il solo link nofollow. Come posso rimediare?


  • Admin

    Molto dipende da quello che vuoi ottenere.

    Da quello che ho capito devi ascoltare il consiglio di Federico che ti suggerisce un noindex sulla pagina da non indicizzare.
    In alternativa se vuoi indicizzarla ma in una sola versione puoi usare il canonical.


  • User

    se invece volessi non indicizzarla mai? cioè adesso è stata indicizzata ma è una pagina duplicata che è presente su più siti del network. Come muoversi?


  • Admin

    Devi fare quello che ti ha scritto sopra Federico.

    @Federico Sasso said:

    In tale caso devi impostare
    [HTML]<meta name="robots" content="noindex" />[/HTML]


  • User

    si e per il fatto che l'ha indicizzata? come faccio a dire a google che non la voglio più in SERP?


  • Admin

    Una volta messo quel meta tag, quando Google ripasserà sulla pagina, la eliminerà.

    Se vuoi velocizzare la cosa puoi usare lo strumento di rimozione URL all'interno del webmaster tool oppure creare una sitemap con quegli indirizzi e pingarla.


  • User

    Grazie mille Juanin sei stai gentilissimo e molto paziente. Farò così!