راویان|تکنولوژی کلودفلر، پلتفرم میزبانی و امنیت وب، در تصمیمی راهبردی سیاستهای خود را تغییر داد. از این پس، خزندههای «چندمنظوره» که همزمان وظیفه ایندکس کردن سایتها برای موتورهای جستجو و آموزش مدلهای هوش مصنوعی را بر عهده دارند، بهصورت خودکار مسدود خواهند شد.
این اقدام، واکنشی مستقیم به تغییرات ساختاری در ترافیک وب است. تا پیش از این، ترافیک وب بیشتر نشاندهنده حضور کاربران واقعی بود که تبلیغات را میدیدند یا اشتراک میخریدند، اما حالا هجوم مدلهای هوش مصنوعی برای جمعآوری اطلاعات، این معادله را برهم زده است.
متیو پرینس، مدیرعامل و همبنیانگذار کلودفلر، با اشاره به اینکه بخش بزرگی از ترافیک فعلی اینترنت دیگر انسانی نیست، بر ضرورت ایجاد «اکوسیستم پایدار» تاکید کرد. او معتقد است ابزارهای جدید کلودفلر به صاحبان سایتها اجازه میدهد کنترل بیشتری بر محتوای خود داشته باشند و از مزایای تجاری آن بهرهمند شوند.
تغییرات از چه زمانی اجرایی میشود؟
از ۱۵ سپتامبر ۲۰۲۶ (۲۴ شهریور ۱۴۰۵)، تنظیمات پیشفرض برای مشتریان جدید و وبسایتهایی که بهتازگی به کلودفلر میپیوندند تغییر خواهد کرد. در صفحاتی که دارای تبلیغات هستند، اجازه دسترسی برای «جستجو» داده میشود اما عملیات آموزش هوش مصنوعی و فعالیت رباتهای عامل (Agent) بهطور خودکار مسدود خواهد شد. کاربران حسابهای رایگان نیز مشمول این تغییرات میشوند مگر آنکه پیش از تاریخ اعلامشده، این تنظیمات را تغییر دهند.
از «پرداخت به ازای خزش» تا «پرداخت به ازای استفاده»
کلودفلر نسخه جدیدی از طرح خود را که پیشتر با نام Pay Per Crawl معرفی شده بود، رونمایی کرد. این قابلیت که حالا Pay Per Use نام دارد، مدل درآمدی متفاوتی را دنبال میکند؛ صاحبان سایتها نه به ازای هر بار خزش رباتها، بلکه زمانی دستمزد دریافت میکنند که محتوای آنها در پاسخهای چتباتها ظاهر شود. فعلاً همکاری با Ceramic.AI و You.com در این طرح کلید خورده است.
تقابل غیرمستقیم با گوگل
تحلیلگران این تغییر سیاست را حمله غیرمستقیم به غولهایی مثل گوگل میدانند. در حال حاضر «گوگلبات» (Googlebot) همزمان وبسایتها را برای موتورهای جستجو ایندکس میکند و هم دادهها را برای آموزش مدلهای «جمینای» و قابلیتهایی نظیر AI Overviews جمعآوری میکند. برای یک ناشر، تفکیک این دو فرآیند در اکوسیستم گوگل عملاً غیرممکن است. کلودفلر با این سیاست، در تلاش است شرکتهایی با خزندههای چندمنظوره را وادار کند در تاکتیکهای خود تجدیدنظر کرده و میان جستجوی سنتی و بهرهبرداریهای هوش مصنوعی تفکیک قائل شوند.
