Cloudflare blokir crawler AI campuran di situs dengan iklan mulai Sept 2026 secara default.

Cloudflare mengumumkan mulai 15 September 2026, pengaturan default akan memblokir crawler web campuran—yang digunakan untuk pencarian tradisional dan pelatihan AI—dari mengakses halaman yang memuat iklan. Perubahan ini bertujuan melindungi konten pemilik situs dari penggunaan gratis untuk pelatihan AI tanpa izin, sekaligus mendorong perusahaan AI memisahkan crawler berdasarkan tujuan. Pembaruan ini akan memengaruhi pelanggan baru dan gratis Cloudflare serta bisa berdampak pada cara model AI mengakses data web. Cloudflare juga menyediakan alat bagi penerbit untuk memonetisasi penggunaan konten AI dan mengurangi crawling berulang, bekerja sama dengan Ceramic.ai dan You.com untuk membayar pemilik konten saat data mereka digunakan dalam hasil pencarian AI atau akses konten premium.