Cos'è uno spider?

Lo spider (o ragno) è un piccolo software che un motore di ricerca utilizza per andare in giro per il web. Quando lo spider si imbatte in un nuovo sito, memorizza il contenuto delle varie pagine e cataloga i link che puntano in direzione di altri siti. Seguendo questi link lo spider continua il suo percorso dirigendosi verso altri siti.

Alcuni di questi spider leggono e catalogano tutto il contenuto delle pagine che visitano. Altri si limitano ad indicizzare solo un certo numero di pagine prima di dirigersi altrove. Questo in considerazione del fatto che il Web è divenuto così grande che sarebbe impraticabile indicizzare tutto il suo contenuto. Alcuni spider sono in grado di indicizzare anche un milione di documenti al giorno.

In questo modo i motori di ricerca aggiungono al loro database tutti i siti che riescono a censire. Così facendo il motore di ricerca aumenta, giorno dopo giorno, le informazioni che può fornire a chi fa delle ricerche. Più è grande il database del motore (quindi più è grande il numero dei siti recensiti) più è grande la possibilità di fornire, a chi effettua le ricerche, le risposte che cercava.

Per determinare quali documenti restituire a fronte di una determinata ricerca, ciascun motore utilizza uno specifico algoritmo di ranking, vale a dire l'insieme dei criteri che governano l'ordinamento dei documenti contenuti nell'indice.

Ciò che occorre sapere è che alcuni motori di ricerca utilizzano degli spider e che, prima o poi, uno di questi software visiterà il vostro sito. Quello che lo spider vedrà una volta giuntovi, determinerà come il sito stesso verrà inserito all'interno del relativo indice.

Nel tentativo di migliorare il servizio offerto agli utenti i motori di ricerca modificano periodicamente il loro algoritmo di ranking. Conseguentemente, tecniche oggi efficaci, potrebbero in futuro non essere più tali.

Maggiori informazione le potete trovare presso Spider Hunter