Cloudflare maakt een einde aan de afweging tussen zoeken en AI-training

Vanaf vandaag zijn er nieuwe besturingsfuncties en aanbevolen instellingen beschikbaar, waarmee uitgevers en bedrijven zelfstandig kunnen bepalen hoe hun content wordt gebruikt in zoekresultaten, AI-training en door AI-agenten. Toonaangevende gecombineerde crawlers bieden al besturingsfuncties aan die rekening houden met deze keuzes, of zijn hiermee bezig.

SAN FRANCISCO, CA — 15 september 2026 — Cloudflare, Inc. (NYSE: NET) het toonaangevende connectivity cloud-bedrijf, heeft vandaag een nieuwe 'Accountable'-aanduiding voor AI-crawling aangekondigd. In samenwerking hiermee lanceerde Cloudflare de instelling 'AI-training weigeren', waarmee elke website AI-training kan weigeren en toch volledig in de zoekresultaten kan blijven verschijnen. Elf weken geleden zei Cloudflare dat website-eigenaren recht hadden op echte controle over hoe AI hun content gebruikt, en legde het bedrijf uit wat crawler-operators moesten aanleveren om toegang te blijven krijgen. Apple, Google en Microsoft worden nu als 'Accountable' beschouwd en hebben aangetoond dat ze aan deze criteria voldoen of hebben concrete termijnen aangegeven om hieraan te voldoen. Andere gecombineerde crawlers worden geblokkeerd als website-eigenaren training blokkeren.

Bijna dertig jaar lang was de overeenkomst tussen crawlers en website-eigenaren simpel: zij crawlen je website en sturen verkeer terug. AI heeft de spelregels veranderd. Gecombineerde crawlers, waarbij één crawler content verzamelt voor zowel een zoekindex als AI-training, vertegenwoordigen nu 36,6% van het geverifieerde crawlerverkeer op het Cloudflare-netwerk en vormen daarmee de grootste categorie. De meeste website-eigenaren willen nog steeds gevonden worden: minder dan 1% blokkeert zoekmachinecrawlers, terwijl 17% de training van AI beperkt. Tot op heden betekende het weigeren van de training dat crawlers die niet over de juiste besturingsfuncties beschikten, de zoekresultaten verloren.

"Zo maken we het internet beter: door de openheid te behouden die zoeken waardevol maakt, terwijl we de mensen en bedrijven achter het web zinvolle controle geven over hoe hun werk wordt gebruikt," aldus Matthew Prince, medeoprichter en CEO van Cloudflare. "We kijken ernaar uit om de samenwerking met bedrijven als Apple, Google en Microsoft voort te zetten, terwijl we samenwerken aan de opbouw van een gezond ecosysteem."

Gecombineerde crawlers gaven de meeste moeilijkheden bij het AI-trainingsprobleem. AI-samenvattingen zijn de volgende stap: elke operator die door Cloudflare als 'Accountable' wordt aangewezen, moet website-eigenaren de mogelijkheid bieden om zich af te melden voor AI-samenvattingen. Tegenwoordig is dat een ja-of-nee-keuze, die elke operator afzonderlijk bepaalt. Cloudflare wil begin volgend jaar website-eigenaren de mogelijkheid bieden om op één plek te bepalen hoeveel van hun content wordt weergegeven.

Nieuwe besturingsfuncties, nieuwe aanbevelingen

Cloudflare vervangt de schakelaar "AI-bots blokkeren" door drie onafhankelijke besturingsfuncties: één voor zoeken, één voor AI-training en één voor AI-agenten. Nieuwe websites op Cloudflare krijgen nu suggesties voor aanbevolen instellingen te zien die zijn afgestemd op hun bedrijfsmodel:

• Websites met advertenties: zoekmachinecrawling is ingeschakeld, AI-training is niet toegestaan en AI-agenten worden geblokkeerd op pagina's met advertenties.
• Alle andere websites: zoeken, AI-training en AI-agenten zijn allemaal toegestaan, in lijn met hoe de meeste websites zonder advertenties al werken.

Cloudflare vervangt ook zijn "Managed Robots.txt"-bestand. Deze functie met "Bot Preference Sync" stelt website-eigenaren in staat hun crawlvoorkeuren eenmalig in te stellen, waarna deze automatisch worden toegepast op alle ondersteunde crawlers. Klanten kunnen hun instellingen en voorkeuren op elk moment eenvoudig wijzigen.

'Accountable' AI-crawling

Cloudflare heeft duidelijke criteria vastgesteld voor verantwoorde en transparante AI-crawling, inclusief gecombineerde crawlers. Er zijn vier vereisten waaraan operators moeten voldoen of zich ertoe moeten verplichten om binnen een bepaalde termijn te voldoen:

• Ze moeten website-eigenaren een duidelijke manier bieden om zich af te melden voor AI-training via robots.txt of een vergelijkbare standaard.
• Ze moeten website-eigenaren de mogelijkheid bieden om zich af te melden voor AI-gegenereerde zoekresultaten.
• Ze moeten website-eigenaren inzicht geven op URL-niveau in hoe hun content wordt gebruikt voor zoekopdrachten en trainingen.
• Ze moeten publiekelijk bevestigen dat het afzien van de training geen invloed heeft op de ranking van een website in traditionele zoekresultaten.

Apple, Google en Microsoft hebben aangetoond dat ze aan deze criteria voldoen. Google biedt bijvoorbeeld Google-Extended aan, een besturingsfunctie waarmee websites zich kunnen afmelden voor training zonder zich af te melden voor Zoeken. Eerder dit jaar kondigde Google ook nieuwe tools aan om website-eigenaren te helpen bij het omgaan met AI in zoekresultaten. Andere toonaangevende AI-bedrijven gebruiken aparte crawlers voor zoekopdrachten en trainingen. Hierdoor kan Cloudflare hun trainingscrawlers blokkeren zonder de zoekresultaten te beïnvloeden, waardoor Cloudflare de betreffende crawlers ook als 'Accountable' classificeert. Cloudflare publiceert de volledige lijst met gekwalificeerde operators op Cloudflare Radar.

Cloudflare is ook een actieve deelnemer aan het werk aan open standaarden bij de Internet Engineering Task Force (IETF), zoals "ai-prefs", een specificatie in ontwikkeling waarmee elke website zijn voorkeuren voor toegang tot AI op een gestandaardiseerde, overdraagbare manier kan aangeven. De huidige besturingsfuncties zijn ontworpen om samen te werken met deze nieuwe standaarden.

Voor meer informatie over Cloudflare's aanpak van AI en contentbeheer kunt u de volgende bronnen raadplegen:

• Blog: Het beste van twee werelden: blijf vindbaar en schakel tegelijkertijd AI-training uit
• Blog: Content Independence Day, een jaar later: het bedrijfsmodel bouwen voor het agentische internet

Over Cloudflare

Cloudflare, Inc. (NYSE: NET) is het toonaangevende bedrijf op het gebied van connectivity clouds. Het stelt organisaties in staat om hun medewerkers, applicaties en netwerken overal sneller en veiliger te maken, terwijl de complexiteit en de kosten afnemen. De connectivity cloud van Cloudflare levert het meest complete, uniforme platform van cloud-native producten en ontwikkelaarstools, zodat organisaties de controle krijgen die ze nodig hebben om te werken, zich te ontwikkelen en hun bedrijf te versnellen.

Cloudflare wordt aangedreven door een van 's werelds grootste en meest verbonden netwerken en blokkeert dagelijks miljarden dreigingen online voor haar klanten. Miljoenen organisaties vertrouwen erop, van de grootste merken tot ondernemers en kleine bedrijven tot non-profitorganisaties, humanitaire groepen en overheden over de hele wereld.
Kom meer te weten over de connectivity cloud van Cloudflare op cloudflare.com/connectivity-cloud. Voor meer informatie over de nieuwste internettrends en inzichten ga je naar radar.cloudflare.com.

Volg ons: Blog | X | LinkedIn | Facebook | Instagram

Toekomstgerichte uitspraken

Dit persbericht bevat toekomstgerichte uitspraken zoals bedoeld in Sectie 27A van de Securities Act van 1933, zoals gewijzigd, en Sectie 21E van de Securities Exchange Act van 1934, zoals gewijzigd, die aanzienlijke risico's en onzekerheden met zich meebrengen. Soms zijn toekomstgerichte uitspraken herkenbaar aan woorden zoals 'kunnen', 'zullen', 'zouden moeten', 'verwachten', 'verkennen', 'plannen', 'anticiperen', 'zouden kunnen', 'voornemen', 'doel', 'projecteren', 'overwegen', 'geloven', 'schatten', 'voorspellen', 'potentieel' of 'doorgaan' of de negatieve equivalenten van deze woorden, of andere soortgelijke termen of uitdrukkingen die de verwachtingen, strategie, plannen of bedoelingen van Cloudflare betreffen. Niet alle toekomstgerichte uitspraken bevatten deze identificerende woorden. Toekomstgerichte verklaringen uitgedrukt of geïmpliceerd in dit persbericht omvatten, maar zijn niet beperkt tot, verklaringen over de mogelijkheden en effectiviteit van AI-training weigeren, Bot Preference Sync, en de andere producten en technologie van Cloudflare, de voordelen voor de klanten van Cloudflare van het gebruik van AI-training weigeren, Bot Preference Sync, en van de andere producten en technologie van Cloudflare, de timing van wanneer AI-training weigeren, Bot Preference Sync, en hun gerelateerde functies algemeen beschikbaar zullen zijn voor alle huidige en potentiële klanten van Cloudflare, de technologische ontwikkeling van Cloudflare, toekomstige activiteiten, groei, initiatieven of strategieën en opmerkingen van de CEO van Cloudflare en anderen. De daadwerkelijke resultaten kunnen wezenlijk verschillen van de resultaten die vermeld of geïmpliceerd zijn in toekomstgerichte uitspraken vanwege een aantal factoren, waaronder maar niet beperkt tot de risico's die worden beschreven in de documenten die Cloudflare heeft ingediend bij de Securities and Exchange Commission (SEC), waaronder Cloudflare's kwartaalrapport op Form 10-Q voor de periode die eindigde op 30 juni 2026, ingediend op 6 augustus 2026, evenals andere documenten die Cloudflare van tijd tot tijd bij de SEC indient.

De toekomstgerichte uitspraken in dit persbericht hebben alleen betrekking op gebeurtenissen op het moment waarop de uitspraken zijn gedaan. Cloudflare neemt geen verplichting op zich om toekomstgerichte uitspraken in dit persbericht bij te werken om gebeurtenissen of omstandigheden na de datum van dit persbericht te weerspiegelen of om nieuwe informatie of het optreden van onverwachte gebeurtenissen weer te geven, behalve zoals wettelijk vereist. Het is mogelijk dat Cloudflare de plannen, bedoelingen of verwachtingen die in de toekomstgerichte uitspraken van Cloudflare staan vermeld, niet daadwerkelijk realiseert en u mag niet overmatig vertrouwen op de toekomstgerichte uitspraken van Cloudflare.

©2026 Cloudflare, Inc. Alle rechten voorbehouden. Cloudflare, het Cloudflare-logo en andere Cloudflare-merken zijn handelsmerken en/of geregistreerde handelsmerken van Cloudflare, Inc. in de VS en andere rechtsgebieden. Alle andere merken en namen waarnaar in dit document wordt verwezen, kunnen handelsmerken zijn van hun respectieve eigenaars.