Hogar
Cloudflare se centra en los rastreadores de IA mixtos con nuevas reglas de bloqueo masivo

Cloudflare ha lanzado una importante actualización de sus normas de servicio predeterminadas, dando a las empresas de IA de todo el sector hasta el 15 de septiembre para cumplir con ellas. Ahora, todos los proveedores de IA deben diferenciar entre rastreadores de búsqueda, rastreadores de entrenamiento de modelos y rastreadores específicos de agentes de IA. Cualquier rastreador mixto que no se distinga de los demás será bloqueado automáticamente por el sistema al intentar acceder a páginas que contengan anuncios.
Las nuevas reglas tienen un amplio alcance y se aplican por igual a los nuevos clientes de la plataforma, a los usuarios existentes que creen nuevos sitios web y a todos los sitios web de usuarios gratuitos. Si el administrador de un sitio web desea permitir los rastreadores mixtos, la única opción es ajustar manualmente la configuración del backend, un cambio que afecta directamente a la forma en que las empresas de IA recopilan contenido web para sus materiales de entrenamiento.
Muchos administradores de sitios web no tienen inconveniente en permitir que los motores de búsqueda tradicionales indexen su contenido, pero no quieren que su propiedad intelectual sea recopilada y utilizada para el entrenamiento sin recibir una compensación. Cloudflare ha señalado que el rastreador de Google sirve tanto para la búsqueda como para la recopilación de datos de IA, lo que dificulta que los sitios web permitan la indexación para la búsqueda y, al mismo tiempo, bloqueen el entrenamiento de la IA. En respuesta, Google ha introducido una herramienta específica para robots que permite a los sitios bloquear el acceso para el entrenamiento de la IA sin afectar a su indexación para la búsqueda.
Sin embargo, el rastreador principal de Google seguirá recopilando datos para las funciones de IA integradas en el motor de búsqueda, lo que dificulta separar por completo las necesidades de datos de búsqueda y de IA. El director ejecutivo de la plataforma señaló que el tráfico de robots hace tiempo que ha superado las visitas humanas, y que el ecosistema del sector necesita urgentemente regular diversos comportamientos de rastreo.
Cloudflare sigue mejorando sus herramientas de protección de contenidos, pasando de la herramienta anti-rastreadores de IA de 2024 a un nuevo modelo de facturación basado en el valor. Anteriormente, la plataforma cobraba en función del volumen de rastreo, pero ahora ha adoptado un enfoque de pago por uso, calculando las tarifas según los ingresos reales que el contenido genera en las aplicaciones de IA. Los datos indican que más de la mitad de los rastreadores de IA extraen repetidamente páginas que no se han actualizado, y el mecanismo de pago puede reducir el tráfico no válido al tiempo que aumenta los ingresos de los creadores.
El plan de pago actual ya se ha probado con dos empresas de IA, lo que permite a los administradores de los sitios web recibir ingresos directos cuando su contenido es utilizado por productos de IA. En un entorno en el que las normativas sobre derechos de autor son cada vez más estrictas, las nuevas normas obligan a las empresas de IA a aumentar la transparencia de sus actividades de rastreo, lo que otorga a los creadores web un mayor control sobre su contenido.
Artículo relacionado
La startup respaldada por Marc Benioff tiene como objetivo resolver los desafíos del despliegue de IA
Las grandes empresas enfrentan desafíos tan elevados al implementar herramientas de IA confiables que han surgido equipos enteros de ingenieros desplegados en el campo—especialistas incrustados dentro de las empresas cliente para operacionalizar sist
AliVideo presenta Wan3.0, ofreciendo generación de vídeo ultra largo y consistencia multidimensional
El 24 de agosto, Alibaba presentó Wan3.0, su último modelo de generación de video a gran escala. Este lanzamiento representa un avance importante en la tecnología de video de Alibaba, ofreciendo mejoras significativas en duración, creación universal,
MiniMax Grandes Modelos Pronuncian Incorrectamente Nombres - Xiyu Technology: Entrenamiento Insuficiente Después de Tokens Específicos
MiniMax publicó recientemente un informe técnico que detalla por qué sus modelos de la serie M2 tuvieron dificultades para generar con precisión nombres específicos como "Ma Jiaqi". Este aparente error destaca una falla sistémica en el entrenamiento
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Cloudflare ha lanzado una importante actualización de sus normas de servicio predeterminadas, dando a las empresas de IA de todo el sector hasta el 15 de septiembre para cumplir con ellas. Ahora, todos los proveedores de IA deben diferenciar entre rastreadores de búsqueda, rastreadores de entrenamiento de modelos y rastreadores específicos de agentes de IA. Cualquier rastreador mixto que no se distinga de los demás será bloqueado automáticamente por el sistema al intentar acceder a páginas que contengan anuncios.
Las nuevas reglas tienen un amplio alcance y se aplican por igual a los nuevos clientes de la plataforma, a los usuarios existentes que creen nuevos sitios web y a todos los sitios web de usuarios gratuitos. Si el administrador de un sitio web desea permitir los rastreadores mixtos, la única opción es ajustar manualmente la configuración del backend, un cambio que afecta directamente a la forma en que las empresas de IA recopilan contenido web para sus materiales de entrenamiento.
Muchos administradores de sitios web no tienen inconveniente en permitir que los motores de búsqueda tradicionales indexen su contenido, pero no quieren que su propiedad intelectual sea recopilada y utilizada para el entrenamiento sin recibir una compensación. Cloudflare ha señalado que el rastreador de Google sirve tanto para la búsqueda como para la recopilación de datos de IA, lo que dificulta que los sitios web permitan la indexación para la búsqueda y, al mismo tiempo, bloqueen el entrenamiento de la IA. En respuesta, Google ha introducido una herramienta específica para robots que permite a los sitios bloquear el acceso para el entrenamiento de la IA sin afectar a su indexación para la búsqueda.
Sin embargo, el rastreador principal de Google seguirá recopilando datos para las funciones de IA integradas en el motor de búsqueda, lo que dificulta separar por completo las necesidades de datos de búsqueda y de IA. El director ejecutivo de la plataforma señaló que el tráfico de robots hace tiempo que ha superado las visitas humanas, y que el ecosistema del sector necesita urgentemente regular diversos comportamientos de rastreo.
Cloudflare sigue mejorando sus herramientas de protección de contenidos, pasando de la herramienta anti-rastreadores de IA de 2024 a un nuevo modelo de facturación basado en el valor. Anteriormente, la plataforma cobraba en función del volumen de rastreo, pero ahora ha adoptado un enfoque de pago por uso, calculando las tarifas según los ingresos reales que el contenido genera en las aplicaciones de IA. Los datos indican que más de la mitad de los rastreadores de IA extraen repetidamente páginas que no se han actualizado, y el mecanismo de pago puede reducir el tráfico no válido al tiempo que aumenta los ingresos de los creadores.
El plan de pago actual ya se ha probado con dos empresas de IA, lo que permite a los administradores de los sitios web recibir ingresos directos cuando su contenido es utilizado por productos de IA. En un entorno en el que las normativas sobre derechos de autor son cada vez más estrictas, las nuevas normas obligan a las empresas de IA a aumentar la transparencia de sus actividades de rastreo, lo que otorga a los creadores web un mayor control sobre su contenido.
La startup respaldada por Marc Benioff tiene como objetivo resolver los desafíos del despliegue de IA
Las grandes empresas enfrentan desafíos tan elevados al implementar herramientas de IA confiables que han surgido equipos enteros de ingenieros desplegados en el campo—especialistas incrustados dentro de las empresas cliente para operacionalizar sist
AliVideo presenta Wan3.0, ofreciendo generación de vídeo ultra largo y consistencia multidimensional
El 24 de agosto, Alibaba presentó Wan3.0, su último modelo de generación de video a gran escala. Este lanzamiento representa un avance importante en la tecnología de video de Alibaba, ofreciendo mejoras significativas en duración, creación universal,
MiniMax Grandes Modelos Pronuncian Incorrectamente Nombres - Xiyu Technology: Entrenamiento Insuficiente Después de Tokens Específicos
MiniMax publicó recientemente un informe técnico que detalla por qué sus modelos de la serie M2 tuvieron dificultades para generar con precisión nombres específicos como "Ma Jiaqi". Este aparente error destaca una falla sistémica en el entrenamiento











