La nueva iniciativa de “Pay por Crawl” de Cloudflare ha provocado un debate entre los profesionales de SEO y los especialistas en marketing digital.
La empresa tiene introducido Un sistema predeterminado de separación de rastreadores de IA adyacente con nuevas opciones de monetización para editores.
Esto permite a los editores cobrar a las compañías de IA por el ataque, lo que podría afectar la forma en que el contenido web se consume y valora en la era de la búsqueda generativa.
El nuevo valía predeterminado de Cloudflare: Agrupación de AI Crawlers
El sistema, ahora en beta privada, bloquea los rastreadores de IA conocidos de forma predeterminada para los nuevos dominios de CloudFlare.
Los editores pueden designar una de las tres configuraciones de ataque para cada rastreador:
- Permitir – Grant Paso sin restricciones
- Cargar -Requerir el suscripción al precio configurado de todo el dominio
- Aislar – Rechazar el ataque por completo
Los rastreadores que intentan alcanzar al contenido bloqueado recibirán un 402 Payment Required respuesta. Los editores establecen un precio plano de todo el sitio por solicitud, y Cloudflare maneja la facturación y la distribución de ingresos.
Cloudflare escribió:
“Imagine pedirle a su software de investigación profunda favorita para que lo ayude a sintetizar la última investigación del cáncer o un mensaje legítimo, o simplemente ayudarlo a encontrar el mejor restaurante en Soho, y luego darle a ese agente un presupuesto para desembolsar para apoderarse el mejor y más relevante contenido.
Detalles técnicos y prohijamiento del editor
El sistema se integra directamente con las herramientas de administración de botes de CloudFlare y funciona adyacente con las reglas WAF existentes y robots.txt archivos. La autenticación se maneja utilizando pares de claves ED25519 y firmas de mensajes HTTP para evitar la suplantación de suplantación.
Cloudflare dice que los primeros usuarios incluyen editores importantes como Condé Nast, Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest, Quora y otros.
Si proporcionadamente la configuración presente admite solo precios planos, la compañía planea explorar modelos de precios dinámicos y granulares en iteraciones futuras.
SEO Community comparte preocupaciones
Si proporcionadamente los nuevos controles de Cloudflare se pueden cambiar manualmente, varios expertos en SEO están preocupados por el impacto de hacer que el sistema opte por no participar en sitio de optar.
“Esto no terminará proporcionadamente”, escribió Duane ForresterVicepresidente de Insights de la Industria en Yext, advirtiendo que las empresas pueden tener dificultades para aparecer en respuestas a IA sin darse cuenta de que el ataque a los rastreadores se está bloqueando a menos que se pague una tarifa.
Lily RayVicepresidente de Táctica e Investigación de SEO en Amsive Digital, señaló que el cambio es probable que genere conversaciones urgentes con los clientes, especialmente aquellos que no saben que sus sitios ahora podrían ser invisibles para los rastreadores de IA por defecto.
Ryan JonesVicepresidente Senior de SEO en Razorfish, expresó que la mayoría de sus sitios de clientes en efectividad quieren que los rastreadores de IA accedan a su contenido por razones de visibilidad.
Algunos dicen que es un reinicio necesario
Algunos en la comunidad dan la bienvenida a la medida como un reequilibrio de la bienes de contenido desde hace mucho tiempo.
“Se necesita una fuerza para inclinar el contrapeso de regreso a donde alguna vez estaba”, dijo Pedro DiasAsesor técnico de SEO y ex miembro del equipo de calidad de búsqueda de Google. Sugiere que la dinámica presente favorece a las compañías de IA a costas de los editores.
Ilya GrigorikDistinguido Ingeniero y Asesor Técnico de Shopify, elogió el uso de la autenticación criptográfica, diciendo que es “muy necesario” legado lo difícil que es distinguir entre bots legítimos y maliciosos.
Bajo el nuevo sistema, los rastreadores deben autenticarse utilizando la criptografía de esencia pública y resolver la intención de suscripción a través de encabezados HTTP personalizados.
Empresa de ataque de rastreadores: lo que puede hacer
A medida que entran en vigencia la nueva configuración predeterminada de Cloudflare, existe una preocupación por la pérdida de visibilidad en las herramientas de búsqueda de IA. Pero tienes opciones para recuperar el control.
El tráfico de IA puede disminuir bruscamente si su dominio bloquea los bots de IA sin que se dé cuenta.
Himanshu SharmaAsesor de examen digital y fundador de OptimizesMart, advirtió en X:
“Espere una robusto disminución en el tráfico de IA reportado por GA4 a medida que CloudFlare bloquea casi todos los rastreadores/bots de IA conocidos para rasar el contenido de su sitio web de forma predeterminada”.
Sharma aconsejó a los propietarios del sitio que revisen proactivamente su configuración de CloudFlare:
- Navegue a su tablero de nubes
- Ir a la seguridad> bots
- Encuentre la configuración de “Agrupación de entrenamiento AI”
- Use el menú desplegable para cambiarlo de la “Aislar todas las páginas” predeterminadas a “No incomunicar (desactivar)” si desea permitir que AI Crawlers
Esta opción le permite arriesgarse si desea suministrar la visibilidad en las plataformas impulsadas por la IA o localizar el uso de contenido para capacitación y respuestas.
Mirando en torno a el futuro
El sistema de suscripción por crawl de Cloudflare formaliza una nueva capa de negociación sobre quién puede alcanzar al contenido web y a qué costo.
Para los profesionales de SEO, esto agrega complejidad: la visibilidad ahora puede necesitar no solo de la clasificación, sino asimismo de la configuración de ataque a los rastreadores, las políticas de suscripción y la autenticación de Bot.
Mientras que algunos ven esto como editores empoderadores, otros advierten que podría fragmentar la web abierta, donde el ataque al contenido varía según la infraestructura y los paredes de suscripción.
Si la IA generativa se convierte en una parte central de cómo buscan las personas, y las tuberías que se alimentan de esa IA ahora son carreteras de peaje, los sitios web deberán mandar la visibilidad en un creciente azulejo de sistemas, políticas y modelos financieros.
Imagen destacada: Samborskyi romano/Shutterstock