- Home
- Categorie
- Coding e Sistemistica
- Help Center: consigli per il tuo progetto
- Consiglio su Robots.txx
-
Consiglio su Robots.txx
Ciao ragazzi, non so se è la sezione giusta in caso non lo sia prego qualche moderatore di spostare.
Allora il mio problema è questo circa un mese fa il mio sito ha subito una drastica penalizzazione io pensavo fosse dovuta a google panda o che mi avessero bannato da google ma invio una mail di richiesta di riconsiderazione del mio sito è Google mi dice che non centra nulla e che poteva essere un problema di restrinzioni applicate al robots.txt.
In effetti vado a controllare e il mio robots.txt era questo:
User-agent: * Disallow: /cgi-bin/ Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /tag/ Disallow: /category/ Disallow: /user/ Disallow: /author/ Disallow: /trackback/ Disallow: */trackback/ User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: ia_archiver Disallow: / User-agent: duggmirror Disallow: / User-agent: NetMechanic Disallow: / User-agent: EmailCollector Disallow: / User-agent: Teleport Disallow: / User-agent: UbiCrawler Disallow: / User-agent: DOC Disallow: / User-agent: Zao Disallow: / User-agent: sitecheck.internetseer.com Disallow: / User-agent: Zealbot Disallow: / User-agent: MSIECrawler Disallow: / User-agent: SiteSnagger Disallow: / User-agent: WebStripper Disallow: / User-agent: WebCopier Disallow: / User-agent: Fetch Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: WebZIP Disallow: / User-agent: linko Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: Xenu Disallow: / User-agent: larbin Disallow: / User-agent: libwww Disallow: / User-agent: ZyBORG Disallow: / User-agent: Download Ninja Disallow: / User-agent: wget Disallow: / User-agent: grub-client Disallow: / User-agent: k2spider Disallow: / User-agent: NPBot Disallow: / User-agent: WebReaper Disallow: / Sitemap: miosito/sitemap xml. gz
Vado a controllare il robots.txt di alcuni siti simili al mio e noto che lo hanno differente, ma molto differente e allora da ignorante in materia ho deciso di modificarlo così:
User-agent: * Disallow: /cgi-bin/ Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: miosito/sitemap . xml
Si sono visti dei miglioramenti netti se si considera che prima non avevo nemmeno un articolo su 2.000+ indicizzato su google, adesso ci sono alcuni articoli (ancora pochi se si ocnsidera che prima della penalizzazione era quasi sempre nei primi 10 risultati)...
Il problema è questo se vado su "Strumenti per webmaster" > Errori di scansione mi dice:
Errori di scansione
Non trovato 64
Soggetto a restrizioni da robots.txt 3.596
Ultimo aggiornamento:26/lug/2011Che dite sono sulla buona strada o c'è da aggiustare qualcosa?
Grazie
-
Ciao
Qua trovi un bel tutorial per il robot.txt di wordpress
wmlab.it/2009/11/12/creare-robots-txt-per-wordpress/
Come al solito aggiungi http ed il www davanti
-
Grazie conoscevo questa guida ed ho usato questa per risolvere