- Home
- Categorie
- Coding e Sistemistica
- WordPress
- File robots e risultati di ricerca
-
File robots e risultati di ricerca
Salve ragazzi, leggendo le linee guida di google su come realizzare un sito di qualità ho notato che dicono di impedire, tramite file robots, di scansionare i risultati di ricerca in wordpress. Qualcuno di voi sa come disabilitarli, cioè cosa devo aggiungere al file una cosa tipo /search????
Grazie a tutti.
-
Ciao vegeta79,
la tua richiesta mi ha incuriosito molto e sono andato a fare qualche ricerca. Com mia sorpresa ho scoperto che questo file non era neanche presente all'interno del mio sito e quindi intanto ti ringrazio perché, con la tua domanda, mi hai fatto risolvere un problema! (Eppure è strano dato che ci sto attento a queste cose... vabbé una svista può capitare!)
Per aggiungere un file di questo tipo tutto quello che devi fare è creare semplicemente un file di testo, chiamandolo appunto robots.txt, ed inserirlo all'interno della cartella dove hai installato il core di WordPress, tendenzialmente è la root del tuo FTP. Se utilizzi un plugin per il SEO, come ad esempio WordPress SEO by Yoast, potrai modificare questo file direttamente dal pannello di amministrazione. Se utilizzi WordPress SEO trovi il tuo file robots.txt alla voce SEO->Modifica i file nel menù a sinistra, ma potrai anche modificare questo file direttamente dal tuo FTP, basta un qualsiasi editor.
A giro ho trovato questo interessante articolo ( wmlab.it/2009/11/12/creare-robots-txt-per-wordpress/ ) che ti spiega quali siano le impostazioni migliori per un sito WordPress, personalmente io ho utilizzato soltanto una parte di queste, te le lascio qua sotto:
User-agent: * Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Allow: /wp-content/uploads/Già con queste prime regole dovresti permettere ai vari spider di perdere meno tempo dentro le tue cartelle permettendogli di velocizzare l'indicizzazione del tuo contenuto. Spero di esserti stato di aiuto, ma se avessi bisogno non esitare a chiedere!
Andrea Barghigiani
-
Ciao vegeta79,
puoi editare il file robots.txt come ti ha già giustamente detto AndMore oppure con il semplice plugin KB Robots.txt
Per quel che riguarda il contenuto da inserire per bloccare i risultati delle ricerche la riga esatta è:Disallow: /?s*
Ti consiglierei per sicurezza di inserire nelle stesse pagine anche in tag noindex, molti dei plugin SEO permettono di farlo con un click, come per esempio Platinum Seo Pack.
Ciao.
-
Grazie a tutti per le risposte, mi fa piacere se ho aiutato qualcuno, comunque il file robots già c'è nel mio sito l'unica cos ache manca era la stringa per le ricerche, quindi diventerà così più ovviamnte la stringa per i risultati, che ne pensate? Ho eliminato categorie, paginazione eccetra, secondo voi c'è qualcosa che non va??
Grazie
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /category/
Disallow: /wp-app.php/
-
grazie anche io ho impostato questi
-
Ciao igna.de e benvenuto sul Forum GT!
Mi fa piacere che questo file robots.txt ti sia stato utile, se vuoi aggiornarci o chiederci qualche suggerimento, siamo sempre qua!
-
praticamente il mio è così ignaziodeiana.com/robots.txt
Ho aggiunto la cartella /sottodominio/ perchè la uso per fare test di wp
sono molto niubbo ma dopo Disallow: voi lasciate uno spazio e poi scrivete /cartella? , insomma cosìDisallow: /wp-content/ o Disallow:/wp-content/ cambia qualcosa?
-
Ciao igna.de,
scusa se siamo stati un pò assenti ma con le feste di mezzo... Senti, al momento non sono in grado di darti una risposta precisa, nei prossimi giorni chiedo a qualche amico sistemista, ma se qualcuno conosce la risposta, è caldamente invitato a darci una mano a risolvere questo dubbio!
Grazie e a presto.
Andrea Barghigiani
-
Mi inserisco nella discussione per fare una domanda sul file robots + wordpress.
Tempo fa ho creato un file robots.txt configurato come segue:
Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*Global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/Disallow: /feed/
Disallow: /comments/
Disallow: /category//
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /recommends/
Come potete vedere ho dovuto commentare il disallow dei feed, dei trackback e delle ricerche, pena vedere ogni mattina la pagina di Google Webmaster Tools zeppa di avvisi riguardanti pagine del mio sito che venivano non indicizzate a causa della configurazione del file robots.
Qualcuno ha qualche consiglio in merito? Yoast in un suo articolo sul file robots per wordpress dice che l'unico disallow da inserire è quello /wp-content/plugins/. Qualche esperto di wordpress del forum ha fatto dei test e/o verifiche?
Grazie, Mattia!
-
misteri di google webmaster , ti da ancora problemi ? ma tutti quei disallow si mettono solo per non avere indicizzazioni doppie?
-
@AndMore
Ho inserito anche io come hai fatto tu, ma quello della guida pare che dice che sia quasi obbligatorio inserire anche questi, perché tu non li hai messi? Io non ho capito neanche a che serviva metterli e così non l'ho fatto... E comunque tramite FileZilla vanno copiati nella cartella NOME.DOMINIO semplicemente giusto?Disallow: /?
Disallow: /*?
-
Ciao Andreaas92 e benvenuto in questa discussione
Sinceramente non sono un esperto di file robots.txt ma ho semplicemente inserito i consigli che ho trovato a giro in rete, provo a sentire qualche amico amministratore di server e vi faccio sapere.
Per quello che ne so al momento, la sintassi che stai suggerendo permette di impedire l'accesso a qualsiasi tipo di carattere (*) ripetuto un numero indefinito di volte (?). Se non vado errato, queste regole accettano delle espressioni regolari che ci permettono di definire una stringa di testo definendo alcune variabili, nel nostro caso specifico, * e ?
Se non leggo male, quindi, la regola che hai inserito te impedirà la lettura di qualsiasi elemento contenuto all'interno della cartella di root, definita con /
Spero di esserti stato di aiuto ma, come ho già detto, non sono un esperto di gestione server et simila quindi se ci fosse qualcuno più ferrato di me è invitato a farsi avanti!
Andrea Barghigiani
-
Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.
Mattia
-
@mattiaboero said:
Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.
Allora qui non saprei... non vorrei che le persone usassero la casella di ricerca inserendo parole errate e Google le considera errori di punteggiatura...
Secondo voi conviene indicizzare anche le sotto categorie nel senso CATEGORY/PAGE 2 ?
Ho notato anche che se scrivo gli stessi TAG in maiuscolo, e poi la prossima volta in maiuscolo. Lui li considera duplicati
Cmq Mattia mi pare che tu ne hai messo davvero tanti, anche nei commenti e nelle categorie? Perché?
-
Forse questo post di Joost de Valk può esservi di aiuto, il link è "yoast . com/example-robots-txt-wordpress/" (aggiustate il link a mano che se no non me lo faceva postare).
-
Dopo averlo letto oltre ad inserire quelli consigliati da AndMore ho messo questo Disallow: /wp-content/plugins/
-
io sono un po' indeciso se aggiungere
Disallow: /page/
Disallow: /category/Perchè non capisco bene se possono danneggiarmi o meno considerate che il mio è portfolio ma piano piano scriverò articoli nel blog
-
Perchè dovresti voler impedire il crawl delle pagine? :():
-
Secondo me le pagine e le categorie devi lasciarle indicizzare altrimenti non avrebbe molto senso creare un blog.
Invece per le sottocategorie voi le fate indicizzare? Non ve le considera titoli duplicati?
-
ecco avevo paura che considerasse duplicati per il nome delle pagine
