Cara Setting Cloudflare WAF untuk Blokir AI Crawler Bot

Jika memblokir AI crawler bot dengan robots.txt tidak mempan, Anda dapat menggunakan firewall. Hal ini lebih efektif karena robots.txt hanya sebuah himbauan, sehingga crawler bot bisa saja mengabaikannya.

Bagi pengguna Cloudflare, Anda bisa memblokir AI crawler bot dengan Cloudflare WAF (Web Application Firewall). Fitur ini tersedia gratis untuk semua pengguna Cloudflare.

Cara Blokir AI Crawler Bot dengan Cloudflare WAF

Pastikan Anda sudah menambahkan domain Anda ke Cloudflare dan mengaktifkan orange cloud. Ini untuk memastikan trafik ke website Anda diproses dulu melalui Cloudflare sehingga AI crawler bot dapat diblokir oleh Cloudflare WAF sebelum mengakses website Anda.

1. Buka dasbor Cloudflare untuk website Anda.
2. Navigasi ke Security > WAF.
3. Pada tab Custom rules, klik tombol + Create rule untuk membuat Firewall rules.
4. Buat nama untuk rules yang akan Anda terapkan, contoh: Blokir AI Crawler Bot.
5. Beralih ke bagian If incoming requests match…, klik Edit expression, lalu salin kode di bawah ini dan paste di bidang yang tersedia:

(http.user_agent eq "Amazonbot") or (http.user_agent eq "anthropic-ai") or (http.user_agent eq "Applebot") or (http.user_agent eq "Bytespider") or (http.user_agent eq "CCBot") or (http.user_agent eq "cohere-ai") or (http.user_agent eq "FacebookBot") or (http.user_agent eq "Google-Extended") or (http.user_agent eq "GPTBot") or (http.user_agent eq "omgili") or (http.user_agent eq "PerplexityBot") or (http.user_agent eq "PetalBot") or (http.user_agent eq "YouBot")

6. Di bagian Then take action… choose action, pilih Block.
7. Klik Deploy untuk memblokir AI crawler bot dengan Cloudflare WAF.

Cara di atas akan memblokir 13 AI crawler bot yang diketahui digunakan untuk mengumpulkan konten-konten website, lalu konten-konten tersebut digunakan untuk melatih model bahasa. Model bahasa inilah yang berada di balik produk dan layanan AI.

Penutup

Keputusan untuk mengizinkan atau memblokir akses AI crawler bot adalah sepenuhnya hak pemilik website. Ada pemilik website yang mengizinkan, ada pula yang memblokir AI crawler bot dengan berbagai pertimbangan.

Secara pribadi, saya tidak memblokir AI crawler bot di website yang saya miliki. Namun, jika Anda ingin memblokirnya, saya telah menjelaskan caranya, baik dengan WAF maupun robots.txt.