• User Attivo

    Consiglio su Robots.txx

    Ciao ragazzi, non so se è la sezione giusta in caso non lo sia prego qualche moderatore di spostare.

    Allora il mio problema è questo circa un mese fa il mio sito ha subito una drastica penalizzazione io pensavo fosse dovuta a google panda o che mi avessero bannato da google ma invio una mail di richiesta di riconsiderazione del mio sito è Google mi dice che non centra nulla e che poteva essere un problema di restrinzioni applicate al robots.txt.

    In effetti vado a controllare e il mio robots.txt era questo:

    User-agent: *
        Disallow: /cgi-bin/
        Disallow: /wp-content/
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        Disallow: /tag/
        Disallow: /category/
        Disallow: /user/
        Disallow: /author/
    
    Disallow: /trackback/
    Disallow: */trackback/
    
    User-agent: Mediapartners-Google
    Allow: /
     
    User-agent: Adsbot-Google
    Allow: /
     
    User-agent: Googlebot-Image
    Allow: /
     
    User-agent: Googlebot-Mobile
    Allow: /
     
    User-agent: ia_archiver
    Disallow: /
    
    User-agent: duggmirror
    Disallow: /
    
    User-agent: NetMechanic
    Disallow: /
    
    User-agent: EmailCollector
    Disallow: /
    
    User-agent: Teleport
    Disallow: /
    
    User-agent: UbiCrawler
    Disallow: /
    
    User-agent: DOC
    Disallow: /
    
    User-agent: Zao
    Disallow: /
    
    User-agent: sitecheck.internetseer.com
    Disallow: /
    
    User-agent: Zealbot
    Disallow: /
    
    User-agent: MSIECrawler
    Disallow: /
    
    User-agent: SiteSnagger
    Disallow: /
    
    User-agent: WebStripper
    Disallow: /
    
    User-agent: WebCopier
    Disallow: /
    
    User-agent: Fetch
    Disallow: /
    
    User-agent: Offline Explorer
    Disallow: /
    
    User-agent: Teleport
    Disallow: /
    
    User-agent: TeleportPro
    Disallow: /
    
    User-agent: WebZIP
    Disallow: /
    
    User-agent: linko
    Disallow: /
    
    User-agent: HTTrack
    Disallow: /
    
    User-agent: Microsoft.URL.Control
    Disallow: /
    
    User-agent: Xenu
    Disallow: /
    
    User-agent: larbin
    Disallow: /
    
    User-agent: libwww
    Disallow: /
    
    User-agent: ZyBORG
    Disallow: /
    
    User-agent: Download Ninja
    Disallow: /
    
    User-agent: wget
    Disallow: /
    
    User-agent: grub-client
    Disallow: /
    
    User-agent: k2spider
    Disallow: /
    
    User-agent: NPBot
    Disallow: /
    
    User-agent: WebReaper
    Disallow: /
    
    Sitemap: miosito/sitemap xml. gz
    

    Vado a controllare il robots.txt di alcuni siti simili al mio e noto che lo hanno differente, ma molto differente e allora da ignorante in materia ho deciso di modificarlo così:

    User-agent: *
        Disallow: /cgi-bin/
        Disallow: /wp-content/
        Disallow: /wp-admin/
        Disallow: /wp-includes/
    
    Sitemap: miosito/sitemap . xml
    

    Si sono visti dei miglioramenti netti se si considera che prima non avevo nemmeno un articolo su 2.000+ indicizzato su google, adesso ci sono alcuni articoli (ancora pochi se si ocnsidera che prima della penalizzazione era quasi sempre nei primi 10 risultati)...

    Il problema è questo se vado su "Strumenti per webmaster" > Errori di scansione mi dice:

    Errori di scansione
    Non trovato 64
    Soggetto a restrizioni da robots.txt 3.596
    Ultimo aggiornamento:26/lug/2011

    Che dite sono sulla buona strada o c'è da aggiustare qualcosa?

    Grazie


  • User

    Ciao

    Qua trovi un bel tutorial per il robot.txt di wordpress

    wmlab.it/2009/11/12/creare-robots-txt-per-wordpress/

    Come al solito aggiungi http ed il www davanti


  • User Attivo

    Grazie conoscevo questa guida ed ho usato questa per risolvere