+ Rispondi alla Discussione
Pagina 1 di 2 12 UltimaUltima
Risultati da 1 a 50 di 67

Recupero robots.txt

Ultimo Messaggio di Pratovecchio il:
  1. #1
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754

    Recupero robots.txt

    Ciao a tutti. Da due giorni mi spunta in Search Console un errpre di recupero robotx.txt. Appena faccio il Tester dei file robots.txt mi appare l'errore:
    Recupero del file robots.txt non riuscito.
    Fino ad ora ho provato a ricreare il file, a ricaricarlo, a reinviarlo in Search Console e a controllare l'integritÓ del file. E ' tutto a posto.
    Ho inoltre contattato il provider ma mi dice che non ci sono errori DNS o errori che potrebbero compromettere.
    Sostanzialmente, sono due giorni che Google non mi indicizza pi¨ niente.
    Grazie a chi mi pu˛ aiutare.

  2. #2
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Ciao
    quel'Ŕ il sito? Quale Cms?
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  3. #3
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Quello in firma. Wordpress. Grazie

  4. #4
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Ciao
    usi la proprietÓ search console in https e con www? Se si prova temporaneamente a usare anche le altre. Hai pi¨ plugin che gestiscono il Robots? In passato mi era successo che i plugin facessero a pugni cambiandomelo continuamente.
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  5. #5
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Si, una proprietÓ con HTTPS e www Devo aggiungere quella con https normale?
    Plugin che gestiscono il robots.txt sono yoast SEO e Wordfence.

  6. #6
    L'avatar di Giorgiotave
    Data Registrazione
    Oct 2004
    LocalitÓ
    Monasterace
    Messaggi
    40,436
    Visita il canale Youtube di Giorgiotave
    Prova a inviare nuovamente le sitemap...facci sapere
    Due segnalazioni:
    Corso SEO in aula a Bologna - 12 e 13 Ottobre 2018
    FastForward: la rubrica su YouTube dove parliamo di Internet e Web Marketing

  7. #7
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Le ho provate tutte. Son 3 giorni che mi succede che googlebot non indicizza pi¨ le pagine. Per ora posso solo sperare che si tratti di un problema momentaneo.

  8. #8
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Ciao
    scusa ma come verifiche che le pagine sono indicizzate?
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  9. #9
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Con il comando site:
    Ci sono tutte tranne gli ultimi 4 articoli che ho scritto negli ultimi 3/4 giorni.

  10. #10
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Ciao prova a usare il comando info:url
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  11. #11
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Con quel comando mi mette solo la home-page. Cosa vuol dire?

  12. #12
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Strano, il robots.txt sembra caricarsi correttamente.

    Cmq complimenti, il sito e' velocissimo anche per me che sono in Finlandia (vedo che e' hostato da Hetzner in Germania). Immagino inoltre che usi il plugin di LiteSpeed Cache, vero?

  13. #13
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Si, esatto. Grazie mille.
    Comunque ancora non indicizza le pagine. Spero sia davvero una cosa momentanea. Per ora, mi da ancora errore:

    "Al momento non Ŕ possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finchÚ riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido."

  14. #14
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Ciao Cece74.

    Il motivo Ŕ che il tuo sito sembra essere irraggiungibile per il motore di ricerca.



    Probabilmente c'Ŕ qualche regola di Firewall o simile che Ŕ stata impostata male.

  15. #15
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo pi¨ sia momentaneo. Come firewall ho solo il plugin Wordfence. Pu˛ essere quello il problema?
    Grazie mille.

  16. #16
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Non lo so sinceramente. Il problema potrebbe essere ovunque. Non conosco la tua infrastruttura e neanche il tuo setup.

    Sicuramente per˛ qualcosa blocca gli IP di Google.

    Dovresti controllare i log dei servizi Firewall che usi.

  17. #17
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Citazione Originariamente Scritto da cece74 Visualizza Messaggio
    Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo pi¨ sia momentaneo. Come firewall ho solo il plugin Wordfence. Pu˛ essere quello il problema?
    Grazie mille.
    Si'!! Prova a disattivare il blocco dei "bad bots"

  18. #18
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Hai gia' disattivato quel blocco? Se provo con "curl --user-agent "Googlebot/2.1 (+http://www.google.com/bot.html)" -v https://www.techuniverse.it/robots.txt" vedo il contenuto del robots.txt

  19. #19
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Effettivamente qualche giorno fa Ŕ arrivato un aggiornamento di Wordfence. BadBot non lo trovo, ho disabilitato "Immediately block fake Google crawlers". Con la nuova versione non si capisce niente.
    Ho provato a disabilitare il plugin ma non cambia niente. Probabilmente ha bannato l'IP di googlebot? Sarebbe il colmo.

  20. #20
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Si' volevo dire "fake" bots/crawlers. Adesso Wordfence ha qualche IP bannato?

  21. #21
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Citazione Originariamente Scritto da Juanin Visualizza Messaggio
    Ciao Cece74.

    Il motivo Ŕ che il tuo sito sembra essere irraggiungibile per il motore di ricerca.

    Probabilmente c'Ŕ qualche regola di Firewall o simile che Ŕ stata impostata male.
    Ciao Juanin,
    come hai fatto a usare "Visualizza come Google" su un sito non tuo?

    GRAZIE
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  22. #22
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Citazione Originariamente Scritto da SkyLinx Visualizza Messaggio
    Si' volevo dire "fake" bots/crawlers. Adesso Wordfence ha qualche IP bannato?
    Ne ha almeno 200
    Ho provato a disabilitare quella funzione ma non cambia niente. Sono quasi disperato a questo punto.

  23. #23
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    No il problema non Ŕ lagato a Fake Googlebot perchÚ mettendolo Fake si accede. Il problema Ŕ di certo che viene proprio bloccato il vero Googlebot.


    Citazione Originariamente Scritto da Sermatica Visualizza Messaggio
    Ciao Juanin,
    come hai fatto a usare "Visualizza come Google" su un sito non tuo?

    GRAZIE
    MISTERO!!!

  24. #24
    Moderatore L'avatar di Sermatica
    Data Registrazione
    Sep 2016
    LocalitÓ
    Maleo
    Messaggi
    2,771
    Aggiungi Sermatica su Facebook
    Citazione Originariamente Scritto da Juanin Visualizza Messaggio
    No il problema non Ŕ lagato a Fake Googlebot perchÚ mettendolo Fake si accede. Il problema Ŕ di certo che viene proprio bloccato il vero Googlebot.
    MISTERO!!!
    Allora potrebbe essere che volevano far accedere solo Google e invece lo hanno bloccato da Firewall.

    P.s.
    Ora che hai fatto la magia dicci anche il trucco. Ho provato ma non riesco a replicare quello che hai fatto.
    MODConsigli ed aiuti per il sitoConsulente con P.IVA: SEO / SEM / Google Business / Amazon - Sermatica.it

  25. #25
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Citazione Originariamente Scritto da Juanin Visualizza Messaggio
    Il problema Ŕ di certo che viene proprio bloccato il vero Googlebot.
    E 'una cosa incredibile. Non riesco a capire cosa lo blocca. Anche disattivandolo il plugin non succede nulla. Nemmeno da cpanel trovo qualcosa che blocca il googlebot.
    Forse, Wordfence va cancellato completamente, anche con le tabelle ma non saprei come fare.

  26. #26
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Fai cosý cece per capire se Ŕ wordfence oppure no.

    Crea un altro dominio sullo stesso server senza usare wordpress. Ci metti il robots.txt e vedi se da Search Console accede. Se non accede vuol dire che il problema Ŕ a livello di Server e non applicativo.

    @Sermatica se apri una nuova discussione te lo spiego.

  27. #27
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Ho disabilitato wordfence cancellando dati e tabelle. Non mi sembra che il problema sia risolto. Pro il tuo sistema grazie.

  28. #28
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Ho provato a fare un sottodominio: smart-tv. (sito in firma). Sembra che non sia raggiungibile nemmeno questo.
    Il provider mi dice che non gli risulta nessuna anomalia. A questo punto non so pi¨ che cosa fare.

  29. #29
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Il provider pu˛ dire quello che vuole, ma se non Ŕ lui allora Ŕ qualche forma di Firewall che hai messo nel tuo Cpanel o simile.

    Oppure il problema potrebbe essere a pi¨ alto livello se per caso usi qualche CDN o proxy o simile sopra al sito.

  30. #30
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Ho anche notato che hai un Cache-Control molto lungo sul tuo file robots.txt.

    Io ti consiglio di evitare tempi di cache http su file come il robots.txt.

    Usi per caso cose come CSF? IPTables? Altro?

    smart-tv.sitoinfirma non mi risolve. Hai puntato i DNS?

  31. #31
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Domanda.

    Questo sito Ŕ il tuo?
    https://yogafunzionale.it/robots.txt

    Ho controllato ed Ŕ uno delle centinaia di siti presenti sul tuo stesso IP.
    Testandolo anche questo risulta irraggiungibile quindi presumo proprio che sia il Server in toto che abbia bannato gli IP di Google.

  32. #32
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    No, non Ŕ mio quel sito!

  33. #33
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Il provider mi ha risposto cosý:
    ho modificato le impostazioni del firewall, verifichi tra qualche ora.

    -------------
    Speriamo bene. Mi sa che hai ragione te!

  34. #34
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Certo che ho ragione

    Avevi qualche dubbio?

  35. #35
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Citazione Originariamente Scritto da cece74 Visualizza Messaggio
    Ne ha almeno 200
    Ho provato a disabilitare quella funzione ma non cambia niente. Sono quasi disperato a questo punto.
    Citazione Originariamente Scritto da cece74 Visualizza Messaggio
    E 'una cosa incredibile. Non riesco a capire cosa lo blocca. Anche disattivandolo il plugin non succede nulla. Nemmeno da cpanel trovo qualcosa che blocca il googlebot.
    Forse, Wordfence va cancellato completamente, anche con le tabelle ma non saprei come fare.
    Hai provato a fare pulizia completa con Wordfence Assistant?

  36. #36
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Citazione Originariamente Scritto da cece74 Visualizza Messaggio
    Il provider mi ha risposto cosý:
    ho modificato le impostazioni del firewall, verifichi tra qualche ora.

    -------------
    Speriamo bene. Mi sa che hai ragione te!
    Se e' un problema di firewall non vedo perche' tu debba aspettare qualche ora.

  37. #37
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Citazione Originariamente Scritto da SkyLinx Visualizza Messaggio
    Se e' un problema di firewall non vedo perche' tu debba aspettare qualche ora.

  38. #38
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Hai provato a fare pulizia completa con Wordfence Assistant?

    Quel plugin l'ho strappato via completamente.

    P.S.
    Ancora sembra non funzionare.
    Ultima modifica di cece74; 31-08-18 alle 16:40

  39. #39
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Si dai mi sembra palese che sia un problema del provider.

  40. #40
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Mi hanno risposto cosý:

    ok, ho effettuato una verifica e attualmente non ci sono blocchi per i bot, abbiamo aggiornato le liste degli ip dei vari bot, google Ŕ un po lento, verifica nelle prossime ora.

    ---------------
    Beh, Ŕ vero Google Ŕ lento. Addirittura l'errore dovrebbe visualizzarsi in Google Search Console anche per altri svariati giorni.
    Per ora... grazie Juanin !

  41. #41
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Adesso mi fanno "incaz....".

    Ma che significa Google Ŕ lento? Cosa centra la lentezza di Google? Questi non sanno cosa dicono purtroppo.

    GiÓ Ŕ assurdo mettere delle liste di IP (questo la dice lunga), basterebbe fare reverse DNS.

    Se loro hanno tolto il blocco da Search Console lo vedi immediatamente. Non c'Ŕ da aspettare nulla.

  42. #42
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Passata un'altra ora e ancora nulla..
    Boh... sta diventando imbarazzante.

  43. #43
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    A parte robots.txt, se fai fetch e render di qualche pagina in search console cosa vedi?

  44. #44
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    "Temporaneamente non raggiungibile"
    Come al solito....
    E 'ancora tutto bloccato.
    Il provider mi ha detto di fare la stessa cosa, ma google search console non recupera un caspita!

  45. #45
    Moderatore L'avatar di Juanin
    Data Registrazione
    Nov 2006
    LocalitÓ
    Bologna
    Messaggi
    4,580
    Segui Juanin su Twitter Aggiungi Juanin su Google+ Aggiungi Juanin su Facebook Aggiungi Juanin su Linkedin Visita il canale Youtube di Juanin
    Il problema, ripeto, non Ŕ Google. Se non lo raggiunge vuol dire che il provider non ha sbloccato.

  46. #46
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Che roba... hai considerato migrare ad un altro host a questo punto?

  47. #47
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    Che roba... hai considerato migrare ad un altro host a questo punto?
    Mi dicono che il firewall lo hanno proprio disattivato (Cosý magari entrano pure cani e porci).
    E dicono inoltre che non Ŕ il server, non Ŕ il firewall ma che Ŕ sicuramente il cpanel ad avere qualche problema.
    Ma infatti, non farei prima a cambiare server?

  48. #48
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    A questo punto.... potresti prenderlo in considerazione. Non mi e' chiaro cosa c'entri cPanel e a quale tipo di problema si riferiscono. Prima ti volevo chiedere ma poi ho dimenticato, cosa hai nell'.htaccess?

  49. #49
    User L'avatar di cece74
    Data Registrazione
    Oct 2010
    LocalitÓ
    Varese
    Messaggi
    754
    www forumplus .it /file .txt

  50. #50
    Utente Premium L'avatar di SkyLinx
    Data Registrazione
    Jun 2017
    LocalitÓ
    Espoo, Finland
    Messaggi
    421
    Ho fatto una prova con alcuni siti ospitati sul tuo stesso server (abarunissa.com, accessibletemplate.com, acchia.it, datalifelab.eu e altri) e anche questi sono irraggiungibili da Google. Prova anche tu qualche sito da questa lista

    https://viewdns.info/reverseip/?host=94.130.129.44&t=1

+ Rispondi alla Discussione
Pagina 1 di 2 12 UltimaUltima

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB Ŕ Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] Ŕ Attivato
  • Il codice [VIDEO] Ŕ Attivato
  • Il codice HTML Ŕ Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.