La web se está arrastrando más que nunca, pero ya no se proxenetismo de motores de búsqueda que se arrastran. Los bots de IA están absorbiendo todos los datos que pueden para entrenar y avivar a sus asistentes de IA.
El problema es que los bots de IA son nuevos en el rastreo web. Todavía están tomando algunas decisiones tontas de rastreo, tocando y desperdiciando muchos bienes. Ya hemos manido eso Los bots de IA están empezando a ser bloqueados por muchos más de los sitios web más traficados.
No tengo dudas de que los bots de IA resolverán las cosas, pero probablemente será un proceso doloroso. No creo que nadie de ellos haya comenzado a representar contenido todavía.
Hubo mucho retroceso en Bing en el pasado adecuado a su agresivo gateo. Lo arreglaron, comenzaron Índicey ahora pueden ser el rastreador web más eficaz.
Echa un vistazo a IndexNow
Si no ha configurado indexnow para su sitio web, debería hacerlo.
Si eres un CDN, CMS, un bot de IA o Google, asimismo deberías entrar en esto. Ahorre bienes, ahorre monises y ahorre el planeta. Es bueno para usted, es bueno para sus usuarios, es bueno para los propietarios de sitios web, es bueno para los hosts del sitio web y es bueno para la web y el planeta.
Se estima que El 53% del tráfico de rastreadores se desperdicia esfuerzoe Indexnow puede ayudar a resumir ese número a casi mínimo.
Mirando los datos de Radar de aglomeraciónque refleja una porción masiva de tráfico de Internet, podemos ver cómo los bots de IA se comparan con los bots del motor de búsqueda y los bots de SEO. Manijas de Cloudflare ~ 20% de todo el tráfico de Internetentonces, este es un conjunto de datos vasto y representativo para el rastreo web militar.
Vamos a sumergirnos.
Los bots del motor de búsqueda se arrastran más. Los bots de IA son relativamente nuevos en la web, pero están firmemente en segundo espacio a pesar de que hay menos de ellos. Si se lanzan más asistentes de IA y sus bots comienzan a rastrear la web, probablemente pasarán los motores de búsqueda en el gateo. A el ritmo que están creciendo, esto podría suceder en los próximos dos abriles.
Si desglosamos algunos de los bots individuales, puede ver que Googlebot está comiendo Internet mucho más que otros bots.
Observe que el bot de AI de Google asimismo tiene una velocidad de rastreo rápida y asimismo las imágenes de Google. Hay mucho más Googlebots Todos realizan varias tareas.
Amazonbot y Gptbot están a la par con el rastreo de Bing.
Ahrefsbot es el bot más activo con mucho en la industria de SEO. A algunas otras plataformas les gusta afirmar que se arrastran más rápido, pero Toda la evidencia dice que eso no es cierto. Ahrefs realiza casi tantas solicitudes como las otras 20 bots de SEO combinadas. Vamos a vencer una combinación de 19 de ellos.
A pesar de nuestra tasa de rastreo, garantizaría que asimismo somos el rastreador más eficaz de cualquier bot SEO. Hemos resuelto muchos problemas que todavía veo presentes en estos otros rastreadores. Todavía estamos obteniendo los datos de indexnow a través de nuestro motor de búsqueda, Sípara ayudarnos a ser aún más eficientes. En este punto, tal vez deberíamos clasificarnos como un bot del motor de búsqueda.
Los bots de IA han aumentado este año. Eran casi el 25% de todas las solicitudes de BOT en mayo, solo el 10% por debajo de los bots de búsqueda. Eso es sorprendente para mí teniendo en cuenta que Googlebot es tan dominante en militar y hay aproximadamente la porción de bots de IA que los bots de los motores de búsqueda.
Googlebot es, con mucho, el bot más dominante en la web. GPTBOT está cobrando por delante este año. Tengo curiosidad por enterarse si cerrarán más la brecha en el futuro.
Pensamientos finales
Hay un costo para los bots rastreando sus sitios web y hay un entendimiento social entre los motores de búsqueda y los propietarios de sitios web, donde los motores de búsqueda agregan valencia al destinar tráfico de narración a los sitios web. Google envía tráfico (por ahora), por lo que no se bloquean.
Este entendimiento se extiende a los asistentes de IA. Envíe tráfico a los sitios web, brinde datos de los propietarios de sitios web sobre las búsquedas y la visibilidad de su sitio web en su sistema para informar, o será bloqueado a la tasa que está gateando. Ya lo estamos viendo suceder.
No es sorprendente cedido que El tráfico de búsqueda de IA es solo el 0.1% del tráfico militar a los sitios web. Envíe más tráfico a los sitios web, proporcione más valencia a los propietarios de sitios web.