Las etiquetas “meta robots” son comandos muy necesarios en el mundo del SEO técnico. En el post de hoy vamos a ver cómo afectan a la indexación, y al posicionamiento orgánico de su sitio web.
Los meta robots son una de las etiquetas que los profesionales del SEO deben conocer sí o sí, ya que son a menudo indispensables para dar una indicación precisa al buscador sobre qué debe indexar, y posteriormente posicionar, de una página web.
Al hablar de meta robots, es importante distinguir entre Google y los motores de búsqueda en general.
En este post voy a explicar la función y las peculiaridades de esta etiqueta, que podría causar problemas si se utiliza de forma incorrecta.
Etiqueta meta Robots: ¿Qué es y por qué se utiliza?
La meta etiqueta robots es una cadena de código que se inserta en una página HTML para proporcionar a los rastreadores de los motores de búsqueda información sobre cómo deben gestionar y tratar el contenido de la página.
Mediante estos comandos oficiales de Google, se puede indicar, o al menos sugerir, el comportamiento que debe adoptar “la araña” del buscador que llega a leer nuestra página y tiene que establecer si puede ser indexada.
La meta etiqueta robots se utiliza para no dejar que los motores de búsqueda actúen libremente cuando “leen” los sitios web. Por ejemplo, es necesario si se quiere que una página no sea indexada, pero también es útil para gestionar la meta descripción o los enlaces de la página.
Es importante no confundir la etiqueta meta robots con robots.txt. Este último es un verdadero archivo de texto que abre o cierra el acceso de una página o un recurso de un sitio a los rastreadores, por lo que no es una cadena de código HTML comparable a una etiqueta.
Meta nombres de robots y contenido: sintaxis y funciones
La meta etiqueta robots puede insertarse en el encabezado de la página HTML y debe tener una sintaxis precisa compuesta por los atributos “name” y “content”.
La mejor manera de entender cómo se compone la cadena de código es mostrar los ejemplos publicados por Google en la sección de desarrolladores:
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
Vamos a explicar con más detalle por qué esta etiqueta puede utilizarse para “hablar” en general con los motores de búsqueda o para comunicarse específicamente con uno de ellos.
Por ejemplo:
<!DOCTYPE html>
<html><head>
<meta name=”googlebot” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
La misma técnica puede utilizarse para dar instrucciones precisas a robots concretos. Siguiendo con los ejemplos de la página de Google dedicada a las “especificaciones de la metaetiqueta robots”, se pueden dar los siguientes comandos:
<meta name=»googlebot-news» content=»noindex» />
Por el contrario, al escribir name=”robots” la orden esta dirigida a todos los rastreadores.
Es importante destacar que las órdenes dadas por las meta etiquetas robots sólo son recibidas por los motores de búsqueda si las páginas en las que se insertan no están bloqueadas por el archivo robots.txt. Obviamente, si se le dice a un rastreador que no analice una página, no podrá leer ningún “noindex”.
¿Qué es la Etiqueta de robots X?
Las etiquetas X robots deben utilizarse para dar las mismas órdenes que los meta robots a los archivos que contienen imágenes o documentos PDF, es decir, contenido no HTML.
Google dice sobre este tema lo siguiente:
“X-Robots-Tag” puede ser utilizado como un elemento de la cabecera HTTP de respuesta de una URL específica. Cualquier declaración que se pueda utilizar en una meta etiqueta de robots también se puede especificar como etiqueta X-Robots”
Un ejemplo de etiqueta x robots – noindex es el siguiente:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Puede combinar varias instrucciones dentro de una respuesta HTTP e indicar agentes de usuario (user-agents) específicos antes de las instrucciones, para dar indicaciones específicas y no genéricas.
Ejemplo que nos ofrece Google:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)
Principales comandos HTML para robots
Si no se da ninguna indicación a los motores de búsqueda, las páginas se entienden por defecto como index y follow, por lo tanto indexables y seguibles.
Sin embargo, es posible dar una serie de órdenes para que los rastreadores se comporten como queremos. Veamos las principales.
- Meta noindex:
Con el comando noindex, se le dice al motor de búsqueda que no indexe la página y, por tanto, que no la muestre en las SERP para responder a las consultas realizadas por los usuarios. - Meta nofollow:
Esta etiqueta indica al motor de búsqueda que no siga los enlaces de la página. Esta instrucción influye en el posicionamiento del contenido enlazado, porque no traspasamos autoridad. - Meta none:
Si no desea utilizar las dos meta etiquetas robots noindex y nofollow juntas para indicar al motor de búsqueda que no indexe y no siga los enlaces de una página, puede utilizar simplemente el comando none. Lapidariamente, Google dice sobre esta etiqueta que es “equivalente a noindex, nofollow”. - Meta noarchive:
El robot noarchive no permite que se cree una copia de la página en la caché y, por lo tanto, impide que la muestren los usuarios que escriben una solicitud en el motor de búsqueda.
Es una orden que al rastreador le suena a “no mostrar un enlace de copia en caché en los resultados de búsqueda”. - Meta noimageindex:
No indexar las imágenes en la página, este es el mensaje que se le da a la mente digital de Google y otros motores de búsqueda que aceptan este comando. - Meta nosnippet:
El nosnippet es una metaetiqueta de robots que sólo acepta Google y que sirve para evitar que se muestre la parte textual del snippet o la vista previa de un vídeo en las SERP, pero no bloquea la visualización de una miniatura estática de una imagen si el buscador determina que mejora la UX.
¿Entiendes por qué el SEO no puede prescindir de los meta robots?
Los meta robots guían al buscador en el proceso de rastreo de los sitios web, dándole indicaciones que le ayudan en una actividad (la indexación) que, de otro modo, gastaría muchos recursos inutilmente.
Mediante la configuración adecuada de meta robots en el contenido de su web, es posible resolver problemas técnicos que penalizarían el posicionamiento, y gestionar el contenido que se mostrará o no a los usuarios que realizan búsquedas online.
Como siempre decimos, para este tipo de aspectos es fundamental que cuente con profesionales que le garanticen que su web está en buenas manos.
- Deepseek: la IA de origen chino que nace para revolucionar el sector - 26 enero, 2025
- El impacto de los comentarios en el SEO: UGC en tiempos de IA - 7 julio, 2024
- Grok: La IA de Twitter que revolucionará tu estrategia de marketing - 9 junio, 2024
