¿Alguna vez se preguntó qué bots de SEO son los más bloqueados? Esto puede afectar la calidad de los datos que proporcionan las herramientas.
El retiro de estos bots afectará principalmente el índice de enlace de las herramientas. No podrán rastrear las páginas, por lo que no pueden revisar dónde están vinculando esas páginas. No importa para las estimaciones de tráfico, las clasificaciones de palabras esencia, las principales páginas, etc., se construyen a partir de diferentes fuentes de datos.
Para AHREFS, igualmente afectaría los enlaces internos que mostramos y la función Historial de la página que muestra cambios en sus páginas con el tiempo, que podría precisar en algún momento. Ahrefsbot igualmente alimenta el índice de nuestro motor de búsqueda, Yep.comasí que cortar Ahrefsbot significa que no se mostraría en los resultados de búsqueda de YEP.
Observamos ~ 140 millones de sitios web para ver con qué frecuencia se bloquearon los bots de SEO. Quiero dar un gran agradecimiento a nuestro sabio de datos Xibeijia guan para extraer estos datos.
Aquí están los 3 bots de SEO más bloqueados:
- MJ12BOT (Majestic). Bloqueado por el 6.49% de todos los sitios web.
- Semrushbot. Bloqueado por el 6.34% de todos los sitios web.
- Ahrefsbot. Bloqueado por el 6.31% de todos los sitios web.
Observamos el número total de sitios web que bloquean los bots. Hay muchas formas de cortar bots con robots.txt, y esto representa a todos ellos, incluidos:
- Bloques explícitosdonde se menciona y no se permite el bot
- Bloques generalesdonde se pueden cortar todos los bots
- Cualquier instancia en los que una directiva permitió el botluego de cortar todos los bots
Advertencias: esto no incluye ningún otro tipo de agrupación, como firewalls o bloques IP.
Como mencioné anteriormente, el bot más bloqueado es MJ12BOT de Majestic. Sospecho que hay un par de razones para esto.
- Son un rastreador distribuido, lo que significa que no puedes buscarlos o bloquearlos por IPS, lo que los hace menos confiables.
- Han estado arrastrando la web por más tiempo.
- Tienen una almohadilla de usuarios más pequeña que las herramientas de SEO más populares y, por lo tanto, menos apalancamiento para eliminar cualquier agrupación.
Aquí están los bots de SEO más bloqueados:

Y el total de sitios web que bloquean los bots de SEO:


Aquí están los datos:
Nombre de bot | Contar | Porcentaje % | Cámara de bot |
---|---|---|---|
Mj12bot | 9081205 | 6.49 | Majestuoso |
Semrushbot | 8868486 | 6.34 | Semrush |
Ahrefsbot | 8831316 | 6.31 | Ahrefs |
dotbot | 8569766 | 6.13 | Moz |
Blexbot | 8374216 | 5.99 | SEO PowerSuite |
serpstatbot | 7878935 | 5.63 | Sarpstat |
DataForseBot | 7872939 | 5.63 | Dataforso |
Semrushbot-ct | 7855400 | 5.62 | Semrush |
Azulejo | 7804425 | 5.58 | Babbar |
Semrushbot-ba | 7796785 | 5.57 | Semrush |
Semrushbot-swa | 7789812 | 5.57 | Semrush |
Semrushbot-si | 7789062 | 5.57 | Semrush |
Seokicks | 7758904 | 5.55 | Seokicks |
Spider de seo de rana gritando | 7711108 | 5.51 | Rana gritando |
LinkDexbot | 7704425 | 5.51 | Linkdex |
Domainstatsbot | 7696944 | 5.5 | Estatones de dominio |
Zoombot | 7669495 | 5.48 | Seozoom |
Sitecheckerbotcrawler | 7666545 | 5.48 | Sitechecker |
Cocolyzebot | 7666233 | 5.48 | Cocolí |
SeobilityBot | 7664228 | 5.48 | Seobilidad |
Senutobot | 7655145 | 5.47 | Senuto |
hipestato | 7648671 | 5.47 | Hipestato |
en línea-webceo-bot | 7648444 | 5.47 | Webceo |
Rastreador de brillo | 7648139 | 5.47 | Repleto |
Seolizador | 7648112 | 5.47 | Seolizador |
Se vuelve un poco más complicado de analizar. Para lo antedicho, observamos el archivo principal de robots.txt para un sitio web, pero cada subdominio puede tener su propio conjunto de instrucciones. Si observamos los ~ 461m robots.txt en total, entonces el bot de SEO más bloqueado es Semrushbot al 5.76%. Aquí están los 5 mejores:
- Semrushbot: 5.76%
- Dotbot (Moz): 5.34%
- MJ12BOT (Majestic): 4.96%
- Blexbot: 4.88%
- Ahrefsbot: 4.67%
Para esta medida, solo estamos mirando los casos en los que no se permite un bot en particular. No incluye ninguna información o casos generales en los que solo se puedan permitir ciertos bots. En estos casos, los propietarios de sitios web hicieron todo lo posible para cortar específicamente ciertos bots.
El bot de Majestic es el más objetivo, seguido del bot de Moz.
Aquí están los bots de SEO más bloqueados por menciones explícitas:


Aquí está la cantidad de sitios web que bloquean explícitamente los bots de SEO:


Aquí están los datos:
Nombre de bot | Contar | Porcentaje % | Cámara de bot |
---|---|---|---|
Mj12bot | 2000372 | 1.43 | Majestuoso |
dotbot | 1402305 | 1 | Moz |
Ahrefsbot | 1350771 | 0.97 | Ahrefs |
Semrushbot | 1285857 | 0.92 | Semrush |
Blexbot | 861184 | 0.62 | SEO PowerSuite |
serpstatbot | 354683 | 0.25 | Sarpstat |
DataForseBot | 284694 | 0.2 | Dataforso |
Azulejo | 276332 | 0.2 | Babbar |
Seokicks | 219961 | 0.16 | Seokicks |
Semrushbot-ct | 211895 | 0.15 | Semrush |
LinkDexbot | 166405 | 0.12 | Linkdex |
Domainstatsbot | 157053 | 0.11 | Estatones de dominio |
Semrushbot-ba | 154349 | 0.11 | Semrush |
Semrushbot-si | 147999 | 0.11 | Semrush |
Semrushbot-swa | 146261 | 0.1 | Semrush |
Zoombot | 125310 | 0.09 | Seozoom |
Sitecheckerbotcrawler | 122574 | 0.09 | Sitechecker |
Cocolyzebot | 121737 | 0.09 | Cocolí |
SeobilityBot | 117558 | 0.08 | Seobilidad |
Spider de seo de rana gritando | 87673 | 0.06 | Rana gritando |
Senutobot | 54978 | 0.04 | Senuto |
hipestato | 861 | 0 | Hipestato |
Senutobot | 54978 | 0.04 | Senuto |
hipestato | 861 | 0 | Hipestato |
en línea-webceo-bot | 659 | 0 | Webceo |
Rastreador de brillo | 289 | 0 | Repleto |
Seolizador | 253 | 0 | Seolizador |
Observamos los mejores sitios 1M de DR, que se alinea con los sitios con un DR> 45. Semrush es el más bloqueado seguido de Majestic y Moz.

Así es como se descompone para cada bot individual en diferentes categorías de sitios web. Los 3 mejores son:
- Autos_and_vehicles: 39%
- Libros_and_literatura: 27%
- Real_estate: 17%


Pasando por las solicitudes de bot en Radar de aglomeraciónAhrefs es, con mucho, el rastreador más rápido en el espacio de SEO. ~ 4.6x más rápido que Moz y ~ 6.7x más rápido que Semrush.

