Cloudflare ابزار رایگان جدیدی منتشر کرده که از وب اسکرپینگ یا جمع آوری اطلاعات وب سایت ها توسط شرکت های سازنده هوش مصنوعی برای آموزش مدل های زبانی بزرگ خود جلوگیری می کند. این ابزار در دسترس تمام مشتریان کلودفلر (از جمله افراد دارای طرح های رایگان) قرار گرفته است.

تیم کلودفلر در پست وبلاگ مربوط به این خبر همچنین داده هایی را درباره نحوه واکنش مشتریان خود نسبت به رشد ربات هایی که برای آموزش مدل های هوش مصنوعی داده ها را استخراج می کنند، به اشتراک گذاشته است. طبق این داده ها، ۸۵٫۲ درصد از مشتریان Cloudflare از دسترسی این ربات ها به سایت های خود جلوگیری می کنند.

فعال ترین بات ها به گفته کلودفلر

Cloudflare همچنین درباره فعال ترین ربات های سال گذشته اطلاعاتی ارائه کرده است. ربات Bytespider متعلق به شرکت چینی بایت دنس (مالک تیک تاک) سعی کرده تا در سال گذشته به ۴۰ درصد از وب سایت های تحت نظر کلودفلر دسترسی پیدا کند. این میزان برای GPTBot متعلق به OpenAI به اندازه ۳۵ درصد گزارش شده است.

لیست چهار ربات برتری که برای آموزش مدل های هوش مصنوعی در سال گذشته تلاش کرده اند به اطلاعات وب سایت مشتریان کلودفلر دسترسی پیدا کنند، با Amazonbot و ClaudeBot تکمیل می شود.

این شرکت در بیانیه خود می گوید: