Google publicó una nueva modernización de robots.txt explicando cómo robots.txt permite que los editores y los SEO controlen los rastreadores de motores de búsqueda y otros bots (que obedecen robots.txt). La documentación incluye ejemplos de páginas específicas de separación (como carritos de compras), restringir ciertos bots y manejar el comportamiento de rastreo con reglas simples.
De lo cardinal a innovador
La nueva documentación ofrece una inclusión rápida a lo que es robots.txt y progresa gradualmente a una cobertura cada vez más destacamento de lo que los editores y los SEO pueden hacer con robots.txt y cómo los beneficia.
El punto principal de la primera parte del documento es introducir robots.txt como un protocolo web estable con un historial de 30 primaveras que es ampliamente compatible con los motores de búsqueda y otros rastreadores.
La consola de búsqueda de Google informará un mensaje de error 404 si desatiendo robots.txt. Está aceptablemente que eso suceda, pero si te molesta ver que en el GSC puedes esperar 30 días y la advertencia disminuirá. Un alterador es crear un archivo en blanco Robots.txt que asimismo sea aceptable por Google.
La nueva documentación de Google explica:
“Puede dejar su archivo robots.txt hueco (o no tener uno en rotundo) si todo su sitio puede estar rastreado o puede amplificar reglas para dirigir el rastreo”.
A partir de ahí, cubre los conceptos básicos como reglas personalizadas para restringir páginas o secciones específicas.
Los usos avanzados de robots.txt cubre estas capacidades:
- Pueden apuntar a rastreadores específicos con diferentes reglas.
- Habilita los patrones de URL de separación como PDF o páginas de búsqueda.
- Habilita el control granular sobre bots específicos.
- Admite comentarios para la documentación interna.
La nueva documentación termina describiendo cuán simple es editar el archivo robots.txt (es un archivo de texto con reglas simples), por lo que todo lo que necesita es un editor de texto simple. Muchos sistemas de filial de contenido tienen una modo de editarlo y hay herramientas disponibles para probar si el archivo robots.txt está utilizando la sintaxis correcta.
Lea la nueva documentación aquí:
Robots Flexer: Robots.txt: una forma flexible de controlar cómo las máquinas exploran su sitio web
Imagen destacada de Shutterstock/Bluestork