Cosa sono Googlebot e Mediabot?
I motori di ricerca utilizzano dei software (chiamati bots o spiders) per indicizzare le pagine web. Questi spiders seguono tutti i links che trovano su internet per indicizzare le pagine da inserire nel proprio motore di ricerca.
Il nome dello spider che indicizza le pagine per Google è “Googlebot“. Se nelle statistiche di traffico del nostro sito vediamo questo nome, allora significa che lo spider di Google (Googlebot appunto) ha visitato il nostro sito.
Oltre a Googlebot, Google utilizza un altro spider, chiamato Mediabot. Questo spider indicizza le pagine web che ospitano le inserzioni pubblicitarie del circuito Google (chiamato AdSense) al fine di verificare quali sono le migliori inserzioni da pubblicare in base al contenuto delle pagine stesse.

Qual è il problema con Mediabot?
Anche se recentemente Google ha negato che ospitare le inserzioni AdSense nel proprio sito abbia degli effetti nel ranking di Google, alcuni webmaster hanno notato che le pagine visitate da Mediabot e non da Googlebot sono posizionate più in alto nei risultati di ricerca.
Matt Cutts di Google ha recentemente confermato (al Boston PubCon 2006) che le pagine indicizzate da Mediabot possono essere utilizzate anche per l’indice principale di Google.

Quali difficoltà si possono quindi creare per il proprio sito?
L’unico problema che potrebbe verificarsi è che i contenuti indicizzati dai due spiders siano differenti, e cioè che Googlebot trovi dei contenuti “speciali” rispetto a quelli che vengono normalmente presentati agli utenti normali, e quindi a Mediabot. In questo caso rischiamo che il sito venga bannato dall’indice di Google. E’ importantissimo non provare a ingannare gli spider e quindi i motori di ricerca, in particolare Google è molto sensibile a queste problematiche. La corretta ottimizzazione delle pagine web deve seguire dei principi etici per stabilire un relazione simbolica corretta tra i webmasters, i motori di ricerca e gli utenti web.

…sui quali vale la pena essere posizionati?
Periodicamente arrivano sulla mia mailbox offerte di aziende che vendono servizi di registrazione nei motori di ricerca proponendo formule del tipo “Registra il tuo sito nei motori di ricerca, aumenta il traffico subito, etc… Scegli la formula che fa per te“:

• 100 motori di rcerca….. 50 Euro/anno
• 200 motori di ricerca…..100 Euro/anno
• 400 motori di ricerca……200 Euro/anno”

Hanno senso offerte di questo tipo? La risposta è NO!
Non ha nessun senso sperare di aumentare il traffico verso il proprio sito internet semplicemente “registrandolo” su una enorme quantità di motori di ricerca sconosciuti. Questi servizi non prevedono ottimizzazione delle pagine (SEO), non prevedono un’ analisi delle parole chiave per definire quali sono le più corrette, non danno garanzie sui posizionamenti raggiunti, non offrono una consulenza internet marketing per valutare il ROI, molte volte addirittura non comprendono i motori di ricerca più importanti (Google, Yahoo, MSN, etc.).
Consiglio: quando vi arrivano messaggi che propongono servizi di questo tipo potete tranquillamente cestinarli…
I motori di ricerca sui quali vale la pena essere registrati e posizionati per quanto riguarda, ad esempio, il mercato italiano si contano sulla dita delle mani: Google, Virgilio, Libero, MSN, Yahoo, Tiscali, Supereva, Kataweb, Lycos, Excite, Altavista.
In realtà i primi 5 elencati comprendono circa il 90% delle ricerche effettuate, perciò sarebbero più che sufficenti per garantire una ottima visibilità in rete al proprio sito internet.

A: “Ho messo le keywords nei meta tag, ho segnalato il mio sito al motore di ricerca attraverso l’apposita form ma sono passati diversi giorni e il mio sito ancora non si vede, come mai?”

B: “Hai controllato se il sito è indicizzato?”

A: “Cosa vuol dire? Come si fa a controllare se il sito è stato indicizzato?”

B: “Per controllare se il tuo sito web è stato indicizzato devi scrivere all’interno del box di ricerca ’site:www.nomedelsito.dom’; se la ricerca non da’ risultati allora il sito non è stato ancora indicizzato, cioè non è ancora presente nel database del motore di ricerca. Il motore di ricerca invia uno spider che aggiunge i siti segnalati al proprio indice (da qui il termine ‘indicizzare‘) dopo averne verificato i contenuti. Nessun motore di ricerca offre però la garanzia che il proprio sito verrà aggiunto, ne’ fornisce certezze sui tempi di passaggio dello spider. L’indicizzazione inoltre non comporta il fatto che il proprio sito comparirà nei risultati delle ricerche con determinate keywords. “