Glosario · Glosario

Meta robots

Las directivas meta robots indican a crawlers compatibles cómo indexar o mostrar una página específica.

Meta robots se usa en el HTML de una página para enviar instrucciones como index, noindex, follow o nofollow. También puede existir una versión equivalente en encabezados HTTP.

Por qué importa

Permite controlar el estado de indexación página por página sin bloquear el acceso completo del crawler al contenido.

Diferencia con conceptos cercanos

Meta robots se evalúa después de que el crawler puede acceder a la página. Robots.txt puede impedir ese acceso, y canonical sugiere una URL representativa distinta.

Ejemplo

Una página de búsqueda interna puede permanecer accesible para usuarios pero pedir no aparecer en resultados.

<meta name="robots" content="noindex,follow" />

Cómo lo usan los equipos

Los equipos lo revisan en plantillas, páginas temporales, recursos PDF y respuestas HTTP para evitar que borradores o duplicados entren al índice.

Malentendido común

No se debe usar como sustituto de permisos. Si una página es privada, debe protegerse; noindex solo habla con crawlers compatibles.