La arquitectura de internet está viviendo un cambio crucial. Este martes, Cloudflare, uno de los proveedores más importantes de infraestructura en línea a nivel mundial, anunció que bloqueará por defecto los rastreadores web de inteligencia artificial (IA) conocidos por acceder a contenido sin autorización ni compensación. Esta decisión representa un paso firme hacia la protección de los creadores de contenido en la era de la IA.
Una nueva política para nuevos dominios
Con esta medida, los nuevos propietarios de dominios alojados en Cloudflare serán consultados desde el inicio si desean permitir el acceso de rastreadores de IA a su sitio web. Además, algunos editores seleccionados podrán implementar un novedoso sistema denominado “Pay Per Crawl”, mediante el cual podrán establecer un precio por el acceso de los rastreadores a su contenido.
Este sistema busca equilibrar la balanza entre innovación y derechos de autor. Las empresas de IA podrán ver el precio que el editor estipule y decidir si pagar o no por el acceso. De momento, este programa está disponible solo para “algunos de los principales creadores de contenido y editores”, según Cloudflare, pero la empresa asegura que la iniciativa crecerá para garantizar un uso responsable y compensado del contenido original.
Combatiendo a los bots sin permiso
Cloudflare ya venía trabajando en medidas para frenar el uso indebido de contenidos por parte de rastreadores automatizados. En 2023, la compañía permitió bloquear bots que respetaban las reglas del archivo robots.txt, aunque esto solo funcionaba con los rastreadores que aceptaban seguir dichas directrices, las cuales son técnicamente voluntarias y no vinculantes.
Sin embargo, el año pasado Cloudflare fue más allá al permitir a los sitios bloquear todos los bots de IA, incluso aquellos que ignoran las reglas del robots.txt. Ahora, esta funcionalidad viene habilitada por defecto para todos los nuevos clientes de Cloudflare.
Asimismo, en marzo de este año, Cloudflare introdujo una función llamada “AI Labyrinth”, una especie de trampa diseñada para confundir y desviar a los rastreadores de IA que intentan recopilar datos sin consentimiento, dificultando su trabajo.
Apoyo de grandes plataformas y medios
El anuncio de Cloudflare ha sido respaldado por varios medios y plataformas digitales de renombre, entre ellos The Associated Press, The Atlantic, Fortune, Stack Overflow y Quora. Estas organizaciones están cada vez más preocupadas por el hecho de que los usuarios obtienen información a través de chatbots de IA en lugar de buscar directamente en los sitios web originales.
Durante un evento de Axios Live, el CEO de Cloudflare, Matthew Prince, explicó: “Las personas confían más en la IA en los últimos seis meses, lo que significa que están dejando de leer el contenido original”. Esta situación ha llevado a los editores a defender con mayor fuerza sus derechos y a exigir mayor control sobre el uso que se da a sus publicaciones.
Mayor transparencia para los rastreadores de IA
Cloudflare también está trabajando con empresas de IA para que estas puedan verificar sus rastreadores y explicar claramente el propósito de su uso: ya sea entrenamiento de modelos, inferencia o búsqueda. Así, los propietarios de sitios web podrán tomar decisiones informadas sobre a quién permitir el acceso a sus datos.
Prince concluyó el comunicado de prensa con un mensaje claro: “El contenido original es lo que hace que Internet sea uno de los mayores inventos del último siglo, y debemos unirnos para protegerlo. Los rastreadores de IA han estado extrayendo contenido sin límites. Nuestro objetivo es devolver el poder a los creadores, sin frenar la innovación de las empresas de IA.”
En un entorno donde la inteligencia artificial está transformando la forma en que accedemos a la información, medidas como las de Cloudflare podrían ser clave para garantizar que el ecosistema digital siga siendo justo y sostenible.