+ Rispondi alla Discussione
Risultati da 1 a 14 di 14

possibile tramite robots.txt cancellare una pagina dall'indice?

Ultimo Messaggio di pacoweb il:
  1. #1
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31

    possibile tramite robots.txt cancellare una pagina dall'indice?

    Ciao a tutti,
    possibile farlo? so che esiste un tool di google per segnalare la singola pagina da cancellare...ma ne ho molte da cancellare....ed oltretutto questo lavoro lo devo fare su pi siti...
    Posso mettere tanti Disallow nel robots.txt in modo da indicare le varie pagine(esempio: nomesito.it/pagina.php?id=1) da cancellare?


    Grazie a tutti

  2. #2
    Moderatore L'avatar di pacoweb
    Data Registrazione
    Sep 2006
    Localit
    Ischia
    Messaggi
    826
    Ciao Shark,

    un metodo veloce per eliminare la pagine dall'indice di Google quello di registrare un account in Webmaster Tools di Google.

    Dopo di che una volta verificato il sito (con un semplice meta tag da inserire nella home page), tra gli strumenti a disposizione vi anche quello che permette la rimozione delle pagine dagli indici.

    Per esperienza, in tre, quattro giorni (a seconda del numero delle pagine) ti eliminano il tutto.

    Ovviamente devi anche fare oltre a questa operazione, un lavoro sul file robots.txt oppure inserire un meta tag no index nelle pagine.

    Forse ci metti un p a segnalare tutte le url con lo strumento di rimozione di google, ma il risultato pressoch assicurato in poco tempo.


  3. #3
    User
    Data Registrazione
    Feb 2009
    Messaggi
    29
    Se non sbaglio a Google si pu richiedere di rimuovere pagine (attraverso il tool) solo se non esistono pi (404), se la pagina c' e non la vuoi pi nell'indice forse robots l'unica soluzione.
    Ultima modifica di pacoweb; 16-02-09 alle 19:40 Motivo: Punteggiatura

  4. #4
    Moderatore L'avatar di pacoweb
    Data Registrazione
    Sep 2006
    Localit
    Ischia
    Messaggi
    826
    Ciao emmezeta,

    le pagine non devono sempre essere necessariamente rimosse (e restituire quindi il codice di stato http 404) .

    L'importante che venga impedito ai crawler di accedere ai contenuti e ci si pu fare agendo sul file robots.txt o con il meta no index.

    Ovviamente puoi anche lavorare solo sul file robots.txt e basta.

    La differenza sta nel fatto che se segnali le url in Strumenti per Webmaster di Google, la rimozione sar immediata (max 5 giorni), mentre non segnalandola, devi aspettare la prossima scansione di Google per la rimozione.

  5. #5
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31
    Grazie per le informazioni, si come accennato conosco il tool di google per la segnalazione degli url da cancellare...


    Comunque mi confermate che se una pagina nel robots.txt (Disallow) google "obbligato" a toglierla?
    Ultima modifica di pacoweb; 17-02-09 alle 11:25 Motivo: Iniziare con le maiuscole

  6. #6
    Esperto L'avatar di SEO Italy
    Data Registrazione
    May 2008
    Messaggi
    469
    No, non "disallow" ma "noindex"

    Per confermare inoltre quello che dice pacoweb (soprattutto l'ultimo paragrafo):
    w w w .google.com/support/webmasters/bin/answer.py?answer=93710

    Ovviamente non so le tue esigenze specifiche, ma per non perdere l'eventuale link juice che la pagina che vuoi rimuovere ha acquisito potresti fare un redirect 301 ad un altra pagina...

  7. #7
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31
    Eh hai ragione ma ho circa 150 siti su cui rimuovere circa 50-60 pagine (con parametri) mi viene da piangere solo al pensiero di segnalare ogni singolo URL da rimuovere.... non c' modo pi veloce o meno "indolore" ?

    Grazie mille!!
    Ultima modifica di pacoweb; 17-02-09 alle 11:25 Motivo: Iniziare con le maiuscole.

  8. #8
    Esperto L'avatar di SEO Italy
    Data Registrazione
    May 2008
    Messaggi
    469
    1. file robots.txt usando "noindex"
    2. mod_rewrite 301 dalle pagine che vuoi cancellare alle pagine "nuove" (eventualmente l'homepage)


    Ciao!

  9. #9
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31
    Attualmente c' gi il 301 nelle pagine che voglio rimuovere ma google ci st mettendo un casino di tempo per toglierle...quindi devo abbinare il 301 a questa modifica nel robots.txt

    noindex: pagina.php?id=1
    noindex: pagina.php?id=2
    noindex: pagina.php?id=3

    ??
    corretta la sintassi?

    Grazie mille!!!
    Ultima modifica di pacoweb; 17-02-09 alle 11:26 Motivo: Maiuscole...

  10. #10
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31
    Ho letto il protocollo e noto che c' solo Disallow: non esiste Noindex: nel protocollo del file....sbaglio?
    Ultima modifica di pacoweb; 17-02-09 alle 11:27 Motivo: Iniziare con le maiuscole.

  11. #11
    Esperto L'avatar di SEO Italy
    Data Registrazione
    May 2008
    Messaggi
    469
    Effettivamente a quanto pare "noindex" e "nofollow" sono standard che si riferiscono al META tag "robots" - ma a quanto pare Google stesso lo usa anche nel file robots.txt:
    sebastians-pamphlets . com/about-noindex-crawler-directives-in-robots-txt/

    Quindi penso che lo possa usare anche tu con la sintassi che hai detto.

    In ultima istanza, comunque, non facile togliere delle pagine dall'indice di Google (sebbene mi sembra strano che con un 301 non vengano immediatamente sostituite con quelle nuove...)

  12. #12
    User
    Data Registrazione
    Jan 2007
    Messaggi
    31
    No allora vengono levate le pagine....solo che per certe pagine google non ci accede da novembre _ appunto per questo non ha ancora trovato il 301.

    Per un sito ho provato il tool di rimozione...vediamo se funziona
    Ultima modifica di pacoweb; 17-02-09 alle 12:04 Motivo: Iniziare la frase con lettera Maiuscola.

  13. #13
    User
    Data Registrazione
    Feb 2009
    Messaggi
    29
    Scusa paco, sono un neonato in confronto a voi in questo campo, ma siccome avevo rimosso alcune pagine giorni fa e il tool recitava cos:

    "Per farlo, accertati che ogni pagina restituisca un codice di stato HTTP 404 o 410 oppure utilizza un file robots.txt o un metatag noindex per impedire ai crawler di accedere ai contenuti"

    ...ho cercato di dare il mio contributo al forum ma come giustamente dici tu non necessario il 404, sorry!
    Ultima modifica di pacoweb; 17-02-09 alle 17:03 Motivo: Maiuscole

  14. #14
    Moderatore L'avatar di pacoweb
    Data Registrazione
    Sep 2006
    Localit
    Ischia
    Messaggi
    826
    Ciao emmezeta ,

    non ti devo assolutamente scusare... .

    Anzi, continua a dare sempre il tuo contributo sul forum! Qui siamo tutti per imparare e migliorarci, dandoci suggerimenti e consigli a vicenda.


+ Rispondi alla Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] Attivato
  • Il codice [VIDEO] Attivato
  • Il codice HTML Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.