+ Rispondi alla Discussione
Risultati da 1 a 3 di 3

Cosa significa Crawl Budget per Googlebot

Ultimo Messaggio di Raffaele Conte il:
  1. #1
    L'avatar di Giorgiotave
    Data Registrazione
    Oct 2004
    Località
    Monasterace
    Messaggi
    40,157
    Visita il canale Youtube di Giorgiotave

    Cosa significa Crawl Budget per Googlebot

    Piccola Premessa: sul Webmaster Central Blog di Google è apparso un post a firma di Gary Illyes dove si parla del Crawl Budget. Negli ultimi anni siamo stati sempre molto attenti alle dichiarazioni di chi lavora per Google visto il moltiplicarsi delle opinioni personali nei vari account social.

    Questa volta è diverso perché siamo nel blog e perché, anche, la firma è "Posted by Gary, Crawling and Indexing teams". L'ultimo post di Gary in questo blog, datato Settembre 2016, era firmato Gary Illyes, Google Search Ranking Team.

    Comunque siamo nel ramo delle cose ufficiali e ne approfitto per dire che questa apertura non mi è piaciuta:

    Recently, we've heard a number of definitions for "crawl budget", however we don't have a single term that would describe everything that "crawl budget" stands for externally. With this post we'll clarify what we actually have and what it means for Googlebot.
    A parte che Recently vuol dire che stavate facendo altro negli ultimi 10 anni, sarebbe anche il caso di ringraziare la comunità di Webmaster e SEO per il lavoro di divulgazione, anche errato, che viene fatto su alcuni temi dove Google tace.

    Lo sforzo, che porta magari alla creazione di parole nuove e quindi di un linguaggio, è stato notevole.

    Io infatti sono molto contento che da Google abbiano visto, dopo molti anni, l'esplosione di una determinata tematica e abbiano deciso di chiarire. È importante questo per noi. Sono deluso da questo atteggiamento costante che mina il rapporto di fiducia della comunità con Google.

    Sono dettagli, ma fanno la differenza. Auspico sempre che Google crei un team specifico per la comunicazione con Webmaster e SEO.

    Detto questo, divulghiamo le tematiche che, dopo questo post ufficiale, stanno sotto la grande tematica del Crawl Budget (con buona pace di Gary che non voleva assolutamente associare questo termine, ma che ci vuoi fare, la comunicazione non è un gioco e quel post è fatto malissimo).

    Crawl Budget per Googlebot:
    • Crawl rate limit
    • Crawl demand
    • Fattori che incidono
    • Altri fatti


    Crawl rate limit
    Fin dove si possono spingere?

    Se il sito risponde molto velocemente ogni volta che viene spiderizzato e questo rimane una costante allora il limite sale, altrimenti scende. Il limite scende anche se ci sono molti server error.

    Da Search Console possiamo regolare il crawling di Googlebot verso il nostro sito, ma attenzione che alzare il limite non significa che automaticamente aumenteremo il crawling.

    Crawl demand
    Anche se il limite non è raggiunto, quindi Googlebot potrebbe spingersi più in là, non lo fa e c'è un'attività bassa. Perchè?

    La popolarità: più un URL è popolare più sarà visitato da Googlebot.
    Obsolescenza/invecchiamento: i nostri sistemi tentano di evitare che gli URL diventino obsoleti nell'indice

    Ovvio che se avete tante pagine e fare un cambio, Google aumenterà il crawling per fare una nuova spiderizzazione dei contenuti.

    Fattori che incidono
    Ovviamente in modo negativo:



    Altri fatti
    Questa è la parte di domande e risposte dove vi metto solo i fatti, come per esempio il loro uso naturale della parola Crawl Budget che a inizio articolo dicevano che non esisteva. Sì sì, la scusa è che la usano tutti, ma la verità è che Google ha lasciato un vuoto che altri hanno colmato e ora così, senza pensarci, gonfiando un po' il petto, fanno da maestrine in cattedra. Un grazie era gradito.

    Ah, per inciso, non a me il grazie, io non ho inventato questo termine né è il mio ramo specifico, alla comunità internazionale intendo.

    Mi ricordo invece quando ricevemmo l'informazione nel 2005 che Google aveva un limite di richieste al giorno per IP.

    Ecco i fatti:

    • Un sito veloce aumenta il crawl rate.
    • Il crawling non è un fattore di ranking.
    • I contenuti embeddati, amp, hreflang, css, redirect: tutto viene conteggiato nel Crawl Budget.
    • La direttiva crawl-delay del robots.txt è ignorato da Googlebot.
    • Il nofollow incide sul crawl budget perché ogni url che è spiderizzata incide. Ovvio che se una URL ha il nofollow da una parte e non dall'altra, il nofollow non indice.



    Buona divulgazione a tutti, continuiamo a inventare parole nuove, magari facciamo un vocabolario comune con delle belle definizioni

    Un giorno anche quelli di Google si renderanno conto delle loro mancanze e di chi le copre.

    Giorgio Taverniti Blog. FastForward: su YouTube ogni Martedì!

    Tutta la SEO in 23 ore: 9 diversi moduli tematici, 34 lezioni, questo è il Videocorso SEO del 2017!


  2. #2
    Kal
    Kal è offline
    User L'avatar di Kal
    Data Registrazione
    Sep 2008
    Messaggi
    29
    Io sorvolo agilmente sulla polemica di comunicazione, trovo che alla fine ci interessi poco.

    Piuttosto, il passaggio chiave conferma la bontà di quello che vado dicendo ai clienti da anni è questo:

    Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.
    In breve: ottimizzare il crawl budget è utile perché libera risorse. Risorse che possono essere meglio utilizzate su altro.

    Necessaria precisazione, quanto scritto qua:

    First, we'd like to emphasize that crawl budget, as described below, is not something most publishers have to worry about. If new pages tend to be crawled the same day they're published, crawl budget is not something webmasters need to focus on. Likewise, if a site has fewer than a few thousand URLs, most of the time it will be crawled efficiently.
    E' vero che non ha molto senso parlare di crawl budget su siti "piccoli", nell'ordine delle centinaia/poche migliaia di pagine. Inizia ad essere interessante se le pagine sono 10K o più (o comunque per i siti che generano ogni giorno un gran numero di contenuti nuovi).
    Ultima modifica di Kal; 17-01-17 alle 11:00

  3. #3
    Moderatore L'avatar di Raffaele Conte
    Data Registrazione
    Apr 2012
    Località
    Varese
    Messaggi
    378
    Segui Raffaele Conte su Twitter Aggiungi Raffaele Conte su Google+ Aggiungi Raffaele Conte su Facebook Aggiungi Raffaele Conte su Linkedin
    Io invece aggiungo una cosa che ritengo importante su quello che diceva Giorgio: La scarsa e opaca comunicazione di Google verso i Webmaster e SEO dà il la a tante bufale o false dicerie che girano nel Web nel nostro settore.
    MODAdwords
    Vuoi attivare una Campagna su Google? Scopri come posso aiutarti Agenzia Google Partner

+ Rispondi alla Discussione

^ Permessi di Scrittura

  • Tu non puoi inviare nuove discussioni
  • Tu non puoi inviare risposte
  • Tu non puoi inviare allegati
  • Tu non puoi modificare i tuoi messaggi
  •  
  • Il codice BB è Attivato
  • Le faccine sono Attivato
  • Il codice [IMG] è Attivato
  • Il codice [VIDEO] è Attivato
  • Il codice HTML è Disattivato
  • Trackbacks Attivato
  • Pingback Attivato
  • Refback Attivato

SEO by vBSEO 3.6.0 PL2 ©2011, Crawlability, Inc.