Cloudflare Membantu Mengakhiri Dilema Antara Pencarian dan Pelatihan AI

Kontrol baru dan pengaturan yang direkomendasikan mulai berlaku hari ini, memungkinkan penerbit dan bisnis untuk mengontrol sendiri bagaimana konten mereka digunakan di seluruh pencarian, pelatihan AI, dan agen AI. Platform perayap multifungsi terkemuka sudah menawarkan atau sedang membangun kontrol yang menghormati berbagai pilihan ini.

SAN FRANCISCO, CA — 15 September 2026 — Cloudflare, Inc. (NYSE: NET), perusahaan cloud konektivitas terkemuka, hari ini mengumumkan penunjukan Pihak yang Bertanggung Jawab baru untuk perayapan AI. Sehubungan dengan hal ini, Cloudflare meluncurkan Disallow AI Training, sebuah pengaturan yang memungkinkan situs web untuk menolak pelatihan AI sekaligus tetap muncul sepenuhnya dalam hasil pencarian. Sebelas minggu lalu Cloudflare mengatakan bahwa pemilik situs web berhak mendapatkan kontrol nyata atas bagaimana AI menggunakan konten mereka, dan menetapkan apa yang harus disediakan oleh operator perayap untuk mendapatkan akses berkelanjutan. Apple, Google, dan Microsoft kini diberi label sebagai Pihak yang Bertanggung Jawab dan telah menunjukkan bahwa mereka memenuhi kriteria ini atau telah memberikan tenggat waktu spesifik untuk memenuhinya. Perayap multifungsi lainnya akan diblokir jika pemilik situs memblokir pelatihan.

Selama hampir tiga puluh tahun, kesepakatan antara perayap dan pemilik situs web sangat sederhana: mereka merayapi situs Anda, lalu mengirimkan lalu lintas kembali. AI telah mengubah persyaratannya. Perayap multifungsi, yaitu satu perayap yang mengumpulkan konten untuk indeks pencarian dan pelatihan AI, kini mencakup 36,6% dari lalu lintas perayap terverifikasi di jaringan Cloudflare, yang merupakan kategori terbesar. Sebagian besar pemilik situs web masih ingin ditemukan: kurang dari 1% memblokir perayap mesin pencari, sementara 17% membatasi pelatihan AI. Hingga hari ini, menolak pelatihan berarti kehilangan akses pencarian dari perayap yang tidak memiliki kontrol yang tepat.

"Inilah cara kami membuat internet menjadi lebih baik: menjaga keterbukaan yang membuat pencarian berharga sekaligus memberikan kontrol yang berarti kepada orang dan bisnis di balik web atas bagaimana karya mereka digunakan," ujar Matthew Prince, salah satu pendiri dan CEO Cloudflare. "Kami berharap dapat melanjutkan kerja sama kolaboratif dengan perusahaan seperti Apple, Google, dan Microsoft seiring dengan kerja sama kami dalam membangun ekosistem yang sehat."

Perayap multifungsi merupakan bagian tersulit dari permasalahan pelatihan AI. Ringkasan AI adalah langkah selanjutnya: setiap operator yang ditunjuk Cloudflare sebagai Pihak yang Bertanggung Jawab harus memberi pemilik situs cara untuk memilih keluar dari ringkasan AI. Kini pilihan itu adalah antara ya atau tidak, yang ditentukan dengan masing-masing operator secara individu. Pada awal tahun depan, tujuan Cloudflare adalah untuk memungkinkan pemilik situs mengontrol seberapa banyak konten mereka yang disertakan, di satu tempat.

Kontrol Baru, Rekomendasi Baru

Cloudflare mengganti tombol "Blokir Bot AI" dengan tiga kontrol independen: satu untuk pencarian, satu untuk pelatihan AI, dan satu untuk agen AI. Situs web baru di Cloudflare kini akan melihat pengaturan rekomendasi yang disesuaikan dengan model bisnis mereka:

• Situs yang menampilkan iklan: perayapan mesin pencari diaktifkan, pelatihan AI dilarang, dan agen AI diblokir di halaman yang memuat iklan.
• Semua situs lainnya: pencarian, pelatihan AI, dan agen AI semuanya diizinkan, sesuai dengan cara kerja sebagian besar situs web yang tidak didukung iklan.

Cloudflare juga mengganti file "Managed Robots.txt" miliknya. Fitur dengan ""Bot Preference Sync" memungkinkan pemilik situs untuk mengatur preferensi perayapan mereka sekali dan menerapkannya secara otomatis ke semua perayap yang didukung. Pelanggan dapat dengan mudah mengubah pengaturan dan preferensi mereka kapan saja.

Perayapan AI yang Bertanggung Jawab

Cloudflare menetapkan kriteria yang jelas untuk perayapan AI yang bertanggung jawab dan transparan, termasuk untuk perayap penggunaan campuran. Ada empat persyaratan atau komitmen yang harus dipenuhi oleh operator dalam jangka waktu tertentu:

• Memberikan cara yang jelas kepada pemilik situs untuk menolak pelatihan AI melalui robots.txt atau standar serupa.
• Memberikan opsi kepada pemilik situs untuk menolak ringkasan pencarian yang dihasilkan oleh AI.
• Memberikan visibilitas tingkat URL kepada pemilik situs tentang bagaimana konten mereka digunakan untuk pencarian dan pelatihan.
• Mengonfirmasi secara publik bahwa memilih untuk tidak mengikuti pelatihan tidak akan memengaruhi peringkat situs dalam pencarian tradisional.

Apple, Google, dan Microsoft telah menunjukkan bahwa mereka memenuhi kriteria ini. Sebagai contoh, Google menawarkan Google-Extended, sebuah kontrol yang memungkinkan situs web untuk memilih keluar dari pelatihan tanpa harus keluar dari Pencarian, dan mengumumkan alat baru awal tahun ini untuk membantu pemilik situs web menavigasi AI dalam pencarian. Perusahaan AI terkemuka lainnya mengoperasikan perayap terpisah untuk pencarian dan pelatihan. Hal ini memungkinkan Cloudflare untuk memblokir perayap pelatihan mereka tanpa memengaruhi pencarian, sehingga Cloudflare juga mengategorikan perayap yang relevan sebagai Pihak yang Bertanggung Jawab. Cloudflare menerbitkan daftar lengkap operator yang memenuhi syarat di Cloudflare Radar.

Cloudflare juga aktif berpartisipasi dalam pekerjaan standar terbuka di Internet Engineering Task Force (IETF), termasuk "ai-prefs," sebuah spesifikasi yang sedang dikembangkan sehingga memungkinkan situs web untuk menyatakan preferensi akses AI mereka dengan cara yang terstandarisasi dan portabel. Sistem kontrol saat ini dirancang untuk bekerja bersamaan dengan standar baru yang sedang berkembang ini.

Untuk mempelajari lebih lanjut tentang pendekatan Cloudflare terhadap AI dan kontrol konten, silakan kunjungi sumber daya berikut:

• Blog: dapatkan kedua caranya: Tetap mudah ditemukan sambil melarang pelatihan AI
• Blog: Hari Kemerdekaan Konten (Content Independence Day), setahun kemudian: membangun model bisnis untuk Internet yang berorientasi pada agen

Tentang Cloudflare

Cloudflare, Inc. (NYSE: NET) adalah perusahaan konektivitas awan (cloud connectivity) terkemuka. Perusahaan ini mendukung berbagai organisasi agar karyawan, aplikasi, dan jaringan mereka dapat menjadi lebih cepat dan lebih aman di mana saja, sambil mengurangi kompleksitas dan biaya. Cloud konektivitas Cloudflare menghadirkan platform produk dan alat pengembang cloud asli dengan fitur terlengkap dan terpadu, sehingga organisasi mana pun dapat memperoleh kendali yang diperlukan untuk bekerja, berkembang, dan mempercepat bisnisnya.

Didukung oleh salah satu jaringan terbesar yang paling terhubung di dunia, Cloudflare memblokir miliaran ancaman online bagi pelanggannya setiap hari. Cloudflare dipercaya oleh jutaan organisasi – mulai dari perusahaan dengan merek paling terkenal hingga para wirausaha dan usaha kecil hingga organisasi nirlaba, kelompok kemanusiaan, dan pemerintah di seluruh dunia.
Pelajari selengkapnya tentang cloud konektivitas Cloudflare di cloudflare.com/connectivity-cloud. Pelajari selengkapnya tentang tren dan wawasan Internet terkini di radar.cloudflare.com.

Ikuti kami: Blog | X | LinkedIn | Facebook | Instagram

Pernyataan Pandangan Ke Depan

Siaran pers ini berisi pernyataan pandangan ke depan sebagaimana dimaksud dalam Pasal 27A tentang Undang-undang Sekuritas tahun 1933, yang telah diubah, dan Pasal 21E tentang Undang-Undang Bursa Efek tahun 1934, yang telah diubah, dengan pernyataan yang mengandung risiko dan ketidakpastian yang besar. Dalam beberapa kasus, Anda dapat mengidentifikasi pernyataan pandangan ke depan karena mengandung kata-kata seperti “mungkin”, “akan”, “seharusnya”, “mengharapkan”, “mengeksplorasi”, “merencanakan”, “mengantisipasi”, “bisa”, “ bermaksud,” “menargetkan,” “memproyeksikan,” “merenungkan,” “percaya,” “memperkirakan,” “memprediksi,” “potensi,” atau “melanjutkan,” atau lawan dari kata-kata ini, ataupun istilah atau ekspresi serupa lainnya yang menyangkut ekspektasi, strategi, rencana, atau niat Cloudflare. Namun, tidak semua pernyataan pandangan ke depan mengandung berbagai kata pengidentifikasi tersebut. Pernyataan pandangan ke depan yang diungkapkan atau tersirat dalam siaran pers ini meliputi, tetapi tidak terbatas pada, pernyataan mengenai kemampuan dan efektivitas Disallow AI Training, Bot Preference Sync, dan fitur-fitur terkaitnya serta produk dan teknologi Cloudflare lainnya, manfaat bagi pelanggan Cloudflare dari penggunaan Disallow AI Training, Bot Preference Sync, dan fitur-fitur terkaitnya serta produk dan teknologi Cloudflare lainnya, waktu ketersediaan umum Disallow AI Training, Bot Preference Sync, atau fitur terkaitnya bagi seluruh pelanggan Cloudflare saat ini maupun calon pelanggan, pengembangan teknologi, operasional di masa depan, pertumbuhan, inisiatif, atau strategi, dan komentar yang dibuat oleh CEO Cloudflare dan orang lain. Hasil sebenarnya dapat berbeda secara materi dari yang dinyatakan atau tersirat dalam pernyataan pandangan ke depan karena sejumlah faktor, termasuk, namun tidak terbatas pada, risiko yang dijelaskan dalam laporan Cloudflare ke Securities and Exchange Commission (SEC) atau Komisi Sekuritas dan Bursa, termasuk Laporan Kuartal Cloudflare pada Formulir 10-Q untuk periode yang berakhir pada 30 Juni 2026, yang diajukan pada 6 Agustus 2026, serta pengajuan lainnya yang dapat dilakukan oleh Cloudflare dari waktu ke waktu pada SEC.

Pernyataan pandangan ke depan yang disampaikan dalam siaran pers ini hanya terkait dengan kejadian pada tanggal dibuatnya pernyataan ini. Cloudflare tidak berkewajiban untuk memperbarui pernyataan pandangan ke depan yang dibuat dalam siaran pers ini untuk mencerminkan peristiwa atau keadaan setelah tanggal siaran pers ini atau untuk mencerminkan informasi baru atau terjadinya peristiwa tidak terduga, kecuali sebagaimana diwajibkan oleh hukum. Cloudflare mungkin tidak dapat mencapai rencana, niat, atau harapan yang diungkapkan dalam pernyataan pandangan ke depan Cloudflare, dan Anda tidak seharusnya terlalu mengandalkan pernyataan pandangan ke depan Cloudflare tersebut.

© 2026 Cloudflare, Inc. Semua hak cipta dilindungi undang-undang. Cloudflare, logo Cloudflare, dan merek Cloudflare lainnya adalah merek dagang dan/atau merek dagang terdaftar dari Cloudflare, Inc. di A.S. dan yurisdiksi lainnya. Semua merek dan nama lain yang dirujuk di sini mungkin merupakan merek dagang dari pemiliknya masing-masing.