Como prevenir el paso de los robots

Google nos informa de las formas actuales de evitar el paso de los robots de búsqueda por nuestras páginas. Esto es mediante los atributos de los metas del head NOINDEX, NOFOLLOW, NOARCHIVE, NOSNIPPET.

Las características de estos atributos son las siguientes:

• NOINDEX: se encarga de decirle al robot que no indexe dicha página.
• NOFOLLOW: se encarga de decirle al robot que no siga ningún enlace de la página web.
• NOARCHIVE: le dice al robot de Google que no guarde en cache información de dicha página.
• NOSNIPPET: le dice a Google que no utilice una descripción bajo del enlace de la página en las páginas de resultados.

Más información de Google al respecto.