Cos’è il Crawl Budget? Insieme ad altri indicatori ci può aiutare a capire se il nostro sito è sulla “strada SEO giusta” o se invece ci sono miglioramenti che possiamo eseguire per migliorare il nostro sito. E’ un parametro che riguarda il comportamento del bot sul nostro sito e che ci dice quante pagine, immagini oppure file vengono scansionati ogni giorno, quanti kilobyte vengono scaricati e il tempo trascorso per il download di una pagina. Diventa pertanto fondamentale cercare di servire ai crawler il maggior numero di pagine, assegnando una priorità alle risorse da scansire per prime, come nuovi articoli, ultimi prodotti inseriti o comunque tutte le pagine utili agli utenti e alle finalità del tuo business online.
“Grazie al nostro Team certificato composto da Developer Certificati, PHP Specialist, ed esperti nel Web Marketing e comparto sistematico Big Data, costruiamo nativamente in casa ogni soluzione e strategia di successo, misurandola e migliorandola giorno dopo giorno. Un team variegato e dinamico che garantisce competenza e professionalità verticalmente al Marketing Digitale”
– MASSI VIGILANTE – CEO BUZZFAN
Per capire se il Crawl Budget rappresenta un problema per il tuo sito, puoi calcolare il Crawl Ratio . Questo parametro misura la percentuale di URL “canonici”, ovvero gli URL ritenuti più rappresentativi in un insieme di pagine duplicate o molto simili, presenti nella struttura del sito, sottoposti a scansione da parte del crawler. Dividi il valore medio di pagine scansionate giornalmente (nella “vecchia” GSC alla voce “Statistiche di scansione”) per il numero di URL del sito web potenzialmente indicizzabili (pagine HTML, canoniche e che restituiscano uno status code 200). Gli URL di cui devi tenere conto per il calcolo del Crawl Ratio hanno le seguenti caratteristiche.
• Pagine HTML : non conteggiare le immagini e le dipendenze CSS e JavaScript.
• Pagine canoniche : non tenere conto delle pagine che vengono “canonicalizzate”, come quelle parametrizzate o i filtri.
• Pagine con status code 200 : conteggia solo le pagine esistenti e quindi indicizzabili, e tralascia gli URL con status code 3xx, 4xx, e 5xx.
Come ormai avrai capito, il Crawl Budget è la terminologia utilizzata nella SEO per descrivere il numero di pagine che il bot di un motore di ricerca può e vuole sottoporre a scansione in un periodo di tempo predefinito.
Il concetto di cos’è il Crawl Budget può essere a sua volta spaccato in due, ovvero in: Crawl Rate Limit e Crawl Demand.
Il Crawl Rate Limit rappresenta il limite massimo della frequenza con cui Googlebot sottopone a scansione il tuo sito e indica inoltre il tempo di attesa che intercorre tra una scansione e l’altra. Google cerca di evitare di sovraccaricare i siti web scansionandoli con il proprio crawler, e a tal proposito il Crawl Rate Limit è strettamente correlato alla capacità di carico che può essere sopportata dall’host analizzato: se il web server è lento o risponde ripetutamente con errori e timeout , il limite della capacità di scansione sarà automaticamente ridimensionato verso il basso. Viceversa, se un sito web risponde rapidamente e senza problemi, allora il Crawl Rate Limit potrebbe essere destinato ad aumentare. Il che è cosa buona e giusta.
Il Crawl Demand indica il grado di attenzione dedicato da Googlebot alle pagine del tuo sito. Questo parametro è influenzato da due indicatori: la popolarità ottenuta dall’URL nel web e la sua “ staleness ”, letteralmente “mancanza di freschezza”, ovvero la frequenza con cui i contenuti di un determinato URL vengono ritenuti non più “attuali” rispetto alla copia indicizzata da Google e vengono pertanto sottoposti a nuova scansione per evitare l’obsolescenza delle SERP.
Ma quando il sito non è nostro come possiamo capire se il sito sta piacendo al motore di ricerca? È possibile farlo attraverso la Zoom Authority, tramite questo valore di SEOZoom è possibile capire quanto è influente e rilevante un sito per Google.
La ZA (Zoom Authority, ndr) prende in considerazione molti valori e, dunque, non solo le pagine posizionate nella top 10 di Google. Certo uno Zoom Authority alto porta automaticamente un incremento delle parole chiave posizionate in prima pagina (top 10) e dunque i due “valori” sono direttamente proporzionali.
Tra i vari tecnicismi che influenzano il crawl budget c’è sicuramente l’uso sconsiderato di redirect 301, magari inserendo cicli di 2 o persino 3 reindirizzamenti di fila. In questi casi, è sempre bene ridurre al minimo la catena che si va a creare, perché comporta uno spreco di tempo e risorse per raggiungere i contenuti corretti.
Per concludere, comprendere cos’è il crawl budget al giorno d’oggi e soprattutto per siti di grandi dimensioni è diventato un punto di vitale importanza tanto che può determinare il successo del posizionamento del sito su Google al pari delle classiche attività SEO Off-Page e On-Page.
