Meta Tag Robots

Il meta tag robots segnala allo spider di Google quali pagine indicizzare. Al fine di indicizzare un sito web correttamente e includere tutte le sue pagine web, i motori di ricerca inviano i loro spider su base periodica e regolare. Google per esempio scansiona un sito ogni due o tre giorni. Quando gli spider scannerizzano i meta-tag e vedono che il tag robots indica “all”, iniziano la scansione della pagina web. Quindi è importante assicurarsi che il meta tag robots sia incluso nelle pagine web.

Alcuni SEO e webmaster consigliano la presentazione di ogni pagina di un sito web direttamente ai motori di ricerca, pur non essendo necessario, soprattutto se si inserisce il meta tag robots. Quello che è importante è che Google indicizzi il sito, e quando lo fa, può trovare tutti i contenuti. Questo meta tag può aiutare gli spider in tale processo. Allo stesso modo, se non più importante, è la presenza di una sitemap, una mappa del sito. Quando si combinano il meta tag robots con una sitemap, Google e altri motori di ricerca possono trovare e indicizzare tutti le pagine del tuo sito web/blog.