Oggi parliamo di crawl budget, una metrica usata per capire quante “risorse” ci dedica un bot di un motore di ricerca per la scansione delle pagine sul nostro sito web.
Tenere sotto controllo questa metrica di scansione ci permette di ottimizzare il nostro sito web e migliorare di conseguenza anche il nostro posizionamento sui motori di ricerca.
Cos’è il Crawl Budget
Il Crawl Budget rappresenta la quantità di risorse che un motore di ricerca, come Google, assegna a un sito web per l’esecuzione dell’indicizzazione delle sue pagine.
In altre parole, è il numero di pagine che un motore di ricerca visita e analizza all’interno del tuo sito durante un determinato periodo di tempo.
Questo budget varia in base alla dimensione, all’autorità e alla qualità del sito. Situazioni diverse possono richiedere budget di crawls differenti.
Perché i motori di ricerca stabiliscono un Crawl Budget sui siti web che visitano
Semplicemente non ci sono risorse per tutti ed ecco perché il motivo per cui i motori di ricerca stabiliscono un “crawl budget” per i siti web che visitano ogni giorno.
Ogni motore di ricerca, compreso Google, non ha risorse illimitate a disposizione per indicizzare tutte le pagine di ogni sito web presente su internet. Sarebbe uno spreco di denaro per vari validi motivi, come i costi energetici e di infrastruttura tecnica.
Allora, come risolve questo problema un motore di ricerca? È semplice: stabilisce un budget definito di risorse da dedicare a ogni sito web su internet ogni giorno.
Praticamente, un bot di scansione scansionerà quotidianamente un numero limitato di pagine per utilizzare in modo efficiente il budget fornito dal motore di ricerca.
Questa procedura assicura che i siti web più rilevanti e importanti su internet vengano visitati e indicizzati più frequentemente, mentre quelli meno rilevanti ricevano meno attenzione.
Crawl Budget: Quanto è importante se stai effettuando delle ottimizzazioni SEO sul tuo sito web
Se stai lavorando per migliorare il posizionamento del tuo sito web nei risultati di ricerca, il Crawl Budget riveste un ruolo cruciale da tenere in considerazione, poiché ti permette di “aiutare” un bot di scansione, come Google Bot, a consumare il budget a sua disposizione per il tuo sito web nel modo migliore possibile.
Infatti, con un crawl budget ben gestito, le tue pagine possono essere esplorate più frequentemente dai motori di ricerca, consentendo un’indicizzazione più rapida dei nuovi contenuti e delle modifiche apportate alle tue pagine già esistenti sul tuo sito web.
Crawl Budget: Come ottimizzarlo
Ottimizzare il Crawl Budget del tuo sito web è essenziale per massimizzare la visibilità sui motori di ricerca. In questo articolo, ti forniremo alcune tattiche efficaci per aumentarlo.
Tattiche da utilizzare per ottimizzare il crawl budget:
#1 Cura la qualità dei tuoi contenuti:
Assicurati di pubblicare contenuti originali, utili e di alta qualità. I tuoi contenuti devono essere unici, scritti correttamente dal punto di vista grammaticale e, soprattutto, devono risolvere i problemi delle persone.
Creando contenuti di alta qualità e soprattutto utili per gli utenti, nel lungo termine i motori di ricerca premieranno il tuo sito web con un miglior posizionamento e, di conseguenza, dedicheranno un maggiore crawl budget di scansione al tuo sito.
Ricorda sempre che l’obiettivo principale di un motore di ricerca è quello di offrire la migliore soluzione a una domanda dell’utente. Pertanto, il motore di ricerca sceglierà sempre di posizionare un contenuto di maggiore qualità rispetto ad un altro.
#2 Elimina le pagine “orfane” del tuo sito web:
Un’altra tattica che puoi utilizzare per migliorare il crawl budget a tua disposizione è eliminare le pagine vecchie o quelle che non apportano alcun valore aggiunto agli utenti sul tuo sito web.
Questa pratica ti aiuterà a ottenere due benefici: Il primo beneficio è il risparmio del crawl budget a tua disposizione, che verrà quindi dedicato alla scansione di nuove pagine sul tuo sito. Il secondo beneficio consiste nell’aumento della qualità del tuo sito web e nell’ottenere maggiore autorevolezza e interesse da parte dei motori di ricerca.
#3 Elimina le pagine duplicate sul tuo sito web:
Simile alla tattica precedente, questa consiste nell’eliminare le pagine con contenuti duplicati. I contenuti copiati sono malvisti dai motori di ricerca e sprecherebbero il crawl budget del tuo sito web.
Effettua un controllo su tutte le pagine del tuo sito web per verificare se presentano contenuti duplicati. Nel caso ne trovi alcune, utilizza il tag canonical oppure il meta tag “noindex” per evitare l’indicizzazione delle pagine duplicate.
Questa pratica ti aiuterà a non sprecare inutilmente il crawl budget su pagine con contenuti di basso valore e, soprattutto, ti proteggerà da possibili penalizzazioni nel posizionamento sui motori di ricerca.
#4 Riduci gli errori 404 sul tuo sito web:
Controlla regolarmente il tuo sito per individuare gli errori 404 (pagina non trovata) e correggili prontamente.
Troppi errori 404 possono influire negativamente sul Crawl Budget, poiché i motori di ricerca, di fronte a un sito web con molti errori 404, riducono la frequenza di crawling sul tuo sito.
Come puoi correggere un errore 404? Usa i redirect 301, che ti permettono di segnalare a un motore di ricerca che la pagina che restituisce l’errore 404 non esiste più e che è stata invece rimpiazzata con la pagina a cui hai deciso di reindirizzare.
Questa pratica ti permetterà di ottimizzare il crawl budget del tuo sito web e di migliorare anche la qualità del tuo sito. Naturalmente, è essenziale che la pagina di arrivo del redirect presenti un contenuto scritto correttamente e utile per gli utenti.
#5 Ricevi dei link da altri siti web autorevoli:
Ottenere link da altri siti web autorevoli è un aspetto cruciale per migliorare il crawl budget a tua disposizione sul tuo sito web, poiché un sito web con link provenienti da siti autorevoli può avere un impatto significativo sulla percezione di fiducia da parte degli utenti.
Ed ovviamente, più un sito web ha link da siti autorevoli, più un motore di ricerca vedrà di buon occhio il tuo sito web e, di conseguenza, ti dedicherà più risorse per la scansione dei contenuti sul tuo sito web.
Come ricevere link da siti autorevoli? Ci sono molti modi e strategie per farlo, ma principalmente si utilizzano in questo caso le pubbliche relazioni, la creazione di guest post su altri blog di settore oppure si cerca di attirare link naturali attraverso la qualità dei contenuti scritti sul nostro sito web.
Prossimamente, tratteremo in un nostro articolo specifico tutte queste strategie in modo approfondito su questo argomento.
Scopri quanto ti ha fornito Google di Crawl Budget
Determinare un Crawl Budget specifico non è possibile poiché Google non fornisce un dato preciso. Tuttavia, è possibile ottenere un’idea approssimativa andando sul report “Statistiche di scansione” su Google Search Console e facendo alcuni calcoli matematici per capire come Google sta interagendo con il tuo sito web e quanto crawl budget in media ti dedica ogni giorno.
Per farlo, segui questi semplici passaggi:
Vai su Google Search Console > ⚙ Impostazioni > Cerca la voce “Statistiche di scansione” > Clicca su “Apri rapporto”
Se hai seguito correttamente tutti i passaggi, ti troverai di fronte a una schermata simile a quella mostrata nello screenshot:
Questa schermata mostra tre metriche importanti:
- Richieste di scansioni totali: rappresenta il numero totale di richieste di scansione del tuo sito nell’intervallo di tempo mostrato. Le richieste duplicate relative allo stesso URL vengono conteggiate.
- Dimensioni totali download (byte): indica le dimensioni totali di tutte le risorse e file scaricati durante la scansione nel periodo di tempo mostrato. Se una risorsa è già stata memorizzata nella cache durante una scansione precedente, non viene conteggiata. Le dimensioni in byte mostrate includono il codice HTML dei file, i byte delle immagini associate, i file script e i file CSS.
- Tempo medio di risposta (ms): rappresenta il tempo medio di risposta della pagina per una richiesta di scansione al fine di recuperare i contenuti della pagina. Non sono inclusi il recupero delle risorse della pagina (script, immagini e altri contenuti collegati o incorporati) o il tempo di visualizzazione della pagina.
Ora, come possiamo interpretare questi dati? È piuttosto semplice:
Più alte sono le richieste di scansione, migliore è, poiché indica che Google dedica più tempo alle scansioni sul tuo sito web.
Al contrario, per le dimensioni dei download e il tempo medio di risposta, più il dato è basso meglio è, poiché indicherebbe che le pagine potrebbero essere pesanti o che l’hosting è lento a caricare i contenuti. Se le pagine sono lente o pesanti, Google impiegherà più tempo a scaricare i contenuti, il che potrebbe diminuire il crawl budget a tua disposizione.
A questo punto, prendiamo in considerazione un esempio pratico utilizzando i dati della schermata di esempio mostrata all’inizio del paragrafo:
Prendiamo il dato “richieste di scansione” che in questo caso è di 6365 e dividiamolo per 90 (che corrisponde ai giorni del rapporto di scansione del GoogleBot).
Il risultato ottenuto ci fornirà una media di quante pagine Googlebot scansiona sul nostro sito web ogni giorno. In questo caso, 6365 diviso 90 produce un risultato di 70.
Pertanto, tirando le conclusioni, in media, Google scansiona circa 70 pagine al giorno del nostro sito web. Tieni presente che questo dato non è preciso ma rappresenta una media approssimata per capire quanto “crawl budget” Google ci dedica.
Recap per essere più chiari:
6365/90 = 70 (questo è il numero approssimato delle pagine scansionate al giorno da Google sul nostro sito web).
Hai bisogno di aiuto? Chiedi ai nostri esperti SEO
Ottimizzare il Crawl Budget del tuo sito web può risultare complesso, ma non preoccuparti! I nostri esperti SEO sono qui per aiutarti.
Chiedici tutto ciò che desideri sapere riguardo a come migliorare il Crawl Budget e ottimizzare il posizionamento del tuo sito nei motori di ricerca.
Siamo qui per guidarti lungo il cammino del successo online sui motori di ricerca!
Contattaci ora per una prima consulenza gratuita, un nostro esperto SEO analizzerà la situazione del tuo sito web e ti forniremmo un piano d’azione per posizionare il tuo sito web in prima pagina sui motori di ricerca.
