En un vídeo reciente de YouTube, Martin Splitt de Google explicó las diferencias entre la etiqueta “noindex” en las metaetiquetas de robots y el comando “disallow” en los archivos robots.txt.
Splitt, defensor de desarrolladores de Google, señaló que ambos métodos ayudan a gestionar cómo funcionan los rastreadores de los motores de búsqueda con un sitio net.
Sin embargo, tienen propósitos diferentes y no deben usarse uno en lugar del otro.
Cuándo utilizar Noindex
La directiva “noindex” indica a los motores de búsqueda que no incluyan una página específica en sus resultados de búsqueda. Puede agregar esta instrucción en la sección de encabezado HTML utilizando la metaetiqueta robots o el encabezado HTTP de X-Robots.
Utilice “noindex” cuando desee evitar que una página aparezca en los resultados de búsqueda pero aún así permitir que los motores de búsqueda lean el contenido de la página. Esto es útil para páginas que los usuarios pueden ver pero que no desea que muestren los motores de búsqueda, como páginas de agradecimiento o páginas de resultados de búsqueda interna.
Cuándo utilizar No permitir
La directiva “disallow” en el archivo robots.txt de un sitio net impide que los rastreadores de los motores de búsqueda accedan a URL o patrones específicos. Cuando una página no está permitida, los motores de búsqueda no rastrearán ni indexarán su contenido.
Splitt recomienda utilizar “no permitir” cuando desee impedir que los motores de búsqueda recuperen o procesen una página por completo. Esto es adecuado para información confidencial, como datos privados de usuarios, o para páginas que no son relevantes para los motores de búsqueda.
Relacionado: Aprenda a utilizar robots.txt
Errores comunes a evitar
Un error común que cometen los propietarios de sitios net es utilizar “noindex” y “disallow” para la misma página. Splitt desaconseja esto porque puede causar problemas.
Si una página no está permitida en el archivo robots.txt, los motores de búsqueda no pueden ver el comando “noindex” en la metaetiqueta de la página o en el encabezado de X-Robots. Como resultado, es posible que la página aún se indexe, pero con información limitada.
Para evitar que una página aparezca en los resultados de búsqueda, Splitt recomienda utilizar el comando “noindex” sin rechazar la página en el archivo robots.txt.
Google proporciona un informe robots.txt en Google Search Console para probar y monitorear cómo los archivos robots.txt afectan la indexación de los motores de búsqueda.
Relacionado: 8 problemas comunes de Robots.txt y cómo solucionarlos
Por qué esto importa
Comprender el uso adecuado de las directivas “noindex” y “disallow” es esencial para los profesionales de search engine optimization.
Seguir los consejos de Google y utilizar las herramientas de prueba disponibles le ayudará a garantizar que su contenido aparezca en los resultados de búsqueda según lo previsto.
Vea el vídeo completo a continuación:
Imagen destacada: Asier Romero/Shutterstock