Controllare quale contenuto deve essere reso invisibile ai motori di ricerca, è un processo che definirei cruciale per tutti i siti e blog. Fortunatamente, la maggioranza dei motori di ricerca e molti dei loro robots osservano ciò che si chiama il Robots Exclusion Protocol (REP), creato e sviluppato negli anni 90 per effettuare una serie di controlli su parti e contenuti di siti e blog che gli stessi robots possono esaminare ed indicizzare.
CAPACITA’ DEL REP
Il protocollo di esclusione dei Robots (REP) effettua controlli che possono essere applicati al livello del proprio blog (robots.txt), a livello di pagina (METAtag, o X-Robots-Tag) o a livello di elementi HTML per controllare tanto l’intensità dello scanning del proprio blog quanto il metodo con cui lo stesso blog viene listato nelle pagine de risultati dei motori di ricerca (SERP). In basso possiamo osservare una tabella degli scenari più comuni, direttive, e [...]





