vie. Jun 20th, 2025

Los bots de SEO que ~ 140 millones de sitios web bloquean más


¿Alguna vez se preguntó qué bots de SEO son los más bloqueados? Esto puede afectar la calidad de los datos que proporcionan las herramientas.

El retiro de estos bots afectará principalmente el índice de enlace de las herramientas. No podrán rastrear las páginas, por lo que no pueden revisar dónde están vinculando esas páginas. No importa para las estimaciones de tráfico, las clasificaciones de palabras esencia, las principales páginas, etc., se construyen a partir de diferentes fuentes de datos.

Para AHREFS, igualmente afectaría los enlaces internos que mostramos y la función Historial de la página que muestra cambios en sus páginas con el tiempo, que podría precisar en algún momento. Ahrefsbot igualmente alimenta el índice de nuestro motor de búsqueda, Yep.comasí que cortar Ahrefsbot significa que no se mostraría en los resultados de búsqueda de YEP.

Observamos ~ 140 millones de sitios web para ver con qué frecuencia se bloquearon los bots de SEO. Quiero dar un gran agradecimiento a nuestro sabio de datos Xibeijia guan para extraer estos datos.

Aquí están los 3 bots de SEO más bloqueados:

  1. MJ12BOT (Majestic). Bloqueado por el 6.49% de todos los sitios web.
  2. Semrushbot. Bloqueado por el 6.34% de todos los sitios web.
  3. Ahrefsbot. Bloqueado por el 6.31% de todos los sitios web.

Observamos el número total de sitios web que bloquean los bots. Hay muchas formas de cortar bots con robots.txt, y esto representa a todos ellos, incluidos:

  • Bloques explícitosdonde se menciona y no se permite el bot
  • Bloques generalesdonde se pueden cortar todos los bots
  • Cualquier instancia en los que una directiva permitió el botluego de cortar todos los bots

Advertencias: esto no incluye ningún otro tipo de agrupación, como firewalls o bloques IP.

Como mencioné anteriormente, el bot más bloqueado es MJ12BOT de Majestic. Sospecho que hay un par de razones para esto.

  1. Son un rastreador distribuido, lo que significa que no puedes buscarlos o bloquearlos por IPS, lo que los hace menos confiables.
  2. Han estado arrastrando la web por más tiempo.
  3. Tienen una almohadilla de usuarios más pequeña que las herramientas de SEO más populares y, por lo tanto, menos apalancamiento para eliminar cualquier agrupación.

Aquí están los bots de SEO más bloqueados:

Velocidad de bloque de bots de SEO

Y el total de sitios web que bloquean los bots de SEO:

Bloques totales de bots de SEOBloques totales de bots de SEO

Aquí están los datos:

Nombre de bot Contar Porcentaje % Cámara de bot
Mj12bot 9081205 6.49 Majestuoso
Semrushbot 8868486 6.34 Semrush
Ahrefsbot 8831316 6.31 Ahrefs
dotbot 8569766 6.13 Moz
Blexbot 8374216 5.99 SEO PowerSuite
serpstatbot 7878935 5.63 Sarpstat
DataForseBot 7872939 5.63 Dataforso
Semrushbot-ct 7855400 5.62 Semrush
Azulejo 7804425 5.58 Babbar
Semrushbot-ba 7796785 5.57 Semrush
Semrushbot-swa 7789812 5.57 Semrush
Semrushbot-si 7789062 5.57 Semrush
Seokicks 7758904 5.55 Seokicks
Spider de seo de rana gritando 7711108 5.51 Rana gritando
LinkDexbot 7704425 5.51 Linkdex
Domainstatsbot 7696944 5.5 Estatones de dominio
Zoombot 7669495 5.48 Seozoom
Sitecheckerbotcrawler 7666545 5.48 Sitechecker
Cocolyzebot 7666233 5.48 Cocolí
SeobilityBot 7664228 5.48 Seobilidad
Senutobot 7655145 5.47 Senuto
hipestato 7648671 5.47 Hipestato
en línea-webceo-bot 7648444 5.47 Webceo
Rastreador de brillo 7648139 5.47 Repleto
Seolizador 7648112 5.47 Seolizador

Se vuelve un poco más complicado de analizar. Para lo antedicho, observamos el archivo principal de robots.txt para un sitio web, pero cada subdominio puede tener su propio conjunto de instrucciones. Si observamos los ~ 461m robots.txt en total, entonces el bot de SEO más bloqueado es Semrushbot al 5.76%. Aquí están los 5 mejores:

  1. Semrushbot: 5.76%
  2. Dotbot (Moz): 5.34%
  3. MJ12BOT (Majestic): 4.96%
  4. Blexbot: 4.88%
  5. Ahrefsbot: 4.67%

Para esta medida, solo estamos mirando los casos en los que no se permite un bot en particular. No incluye ninguna información o casos generales en los que solo se puedan permitir ciertos bots. En estos casos, los propietarios de sitios web hicieron todo lo posible para cortar específicamente ciertos bots.

El bot de Majestic es el más objetivo, seguido del bot de Moz.

Aquí están los bots de SEO más bloqueados por menciones explícitas:

Tasa de bloque explícita de bots de SEOTasa de bloque explícita de bots de SEO

Aquí está la cantidad de sitios web que bloquean explícitamente los bots de SEO:

Número de sitios web que bloquean explícitamente bots de SEONúmero de sitios web que bloquean explícitamente bots de SEO

Aquí están los datos:

Nombre de bot Contar Porcentaje % Cámara de bot
Mj12bot 2000372 1.43 Majestuoso
dotbot 1402305 1 Moz
Ahrefsbot 1350771 0.97 Ahrefs
Semrushbot 1285857 0.92 Semrush
Blexbot 861184 0.62 SEO PowerSuite
serpstatbot 354683 0.25 Sarpstat
DataForseBot 284694 0.2 Dataforso
Azulejo 276332 0.2 Babbar
Seokicks 219961 0.16 Seokicks
Semrushbot-ct 211895 0.15 Semrush
LinkDexbot 166405 0.12 Linkdex
Domainstatsbot 157053 0.11 Estatones de dominio
Semrushbot-ba 154349 0.11 Semrush
Semrushbot-si 147999 0.11 Semrush
Semrushbot-swa 146261 0.1 Semrush
Zoombot 125310 0.09 Seozoom
Sitecheckerbotcrawler 122574 0.09 Sitechecker
Cocolyzebot 121737 0.09 Cocolí
SeobilityBot 117558 0.08 Seobilidad
Spider de seo de rana gritando 87673 0.06 Rana gritando
Senutobot 54978 0.04 Senuto
hipestato 861 0 Hipestato
Senutobot 54978 0.04 Senuto
hipestato 861 0 Hipestato
en línea-webceo-bot 659 0 Webceo
Rastreador de brillo 289 0 Repleto
Seolizador 253 0 Seolizador

Observamos los mejores sitios 1M de DR, que se alinea con los sitios con un DR> 45. Semrush es el más bloqueado seguido de Majestic y Moz.

Bloques totales de bots de SEO en los 1 millón principales de sitios web,> <img class =

Así es como se descompone para cada bot individual en diferentes categorías de sitios web. Los 3 mejores son:

  1. Autos_and_vehicles: 39%
  2. Libros_and_literatura: 27%
  3. Real_estate: 17%
Tasa de bloqueo de bots de SEO por categoría de dominioTasa de bloqueo de bots de SEO por categoría de dominio

Pasando por las solicitudes de bot en Radar de aglomeraciónAhrefs es, con mucho, el rastreador más rápido en el espacio de SEO. ~ 4.6x más rápido que Moz y ~ 6.7x más rápido que Semrush.

Bots que más se arrastran según Cloudflare RadarBots que más se arrastran según Cloudflare Radar



Related Post

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *