Dengan Internet yang kini dibanjiri bot AI, Cloudflare mencoba menganalisis bagaimana operator situs web menanggapi bot AI. Pada bulan Juni 2024, bot AI mengakses sekitar 39% dari satu juta properti Internet teratas yang menggunakan Cloudflare, tetapi hanya 2,98% dari properti ini yang mengambil tindakan untuk memblokir atau menentang permintaan tersebut. Semakin populer properti Internet, maka akan semakin besar kemungkinannya untuk menjadi target bot AI, yang berarti semakin besar kemungkinannya untuk memblokir permintaan tersebut.
Tahun lalu, Cloudflare mengumumkan kemampuan bagi pelanggan untuk dengan mudah memblokir bot AI yang berperilaku baik. Bot ini mengikuti robots.txt , dan tidak menggunakan konten yang tidak berlisensi untuk melatih model mereka atau menjalankan inferensi untuk aplikasi RAG yang menggunakan data situs web. Meskipun bot AI ini mengikuti aturan, pelanggan Cloudflare memilih untuk memblokirnya.
Untuk membantu menjaga keamanan Internet bagi para content creator, Cloudflare baru saja meluncurkan “easy button” baru untuk memblokir semua bot AI. Tombol ini tersedia untuk semua pelanggan, termasuk mereka yang berlangganan paket gratis. Cloudflare telah menambahkan fitur baru satu klik untuk memblokir semua bot AI. Untuk mengaktifkannya, pelanggan cukup ke bagian Keamanan lalu pilih Bot di dasbor Cloudflare, lalu klik tombol yang bertuliskan “AI Scrapers and Crawlers”.
Fitur ini akan secara otomatis diperbarui dari waktu ke waktu saat Cloudflare melihat identitas baru bot yang melanggar yang diidentifikasi sebagai bot yang melakukan scraping web untuk pelatihan model dalam jumlah yang besar.
Setiap pelanggan dengan aturan WAF yang ada akan secara otomatis memblokir semua bot AI dengan skor bawah 30, sesuai rekomendasi dari Cloudflare, tanpa memerlukan tindakan tambahan dari sisi pengguna. Hal yang sama akan berlaku untuk bot AI mendatang, yang menggunakan teknik serupa untuk menyembunyikan aktivitas mereka. Kelebihan ini memastikan pelanggan tetap terlindungi dari gelombang aktivitas bot terbaru.
