Cloudflare past op 15 september 2026 de standaardinstellingen voor AI-crawlers aan. Dit moet je als mkb-bedrijf controleren om vindbaarheid te behouden en ongewenst AI-gebruik te beperken.
Vanaf 15 september 2026 past Cloudflare de standaardinstellingen voor AI-crawlers aan. Voor ondernemers is dit meer dan een technische wijziging in een hostingdashboard. De gekozen instellingen bepalen namelijk welke geautomatiseerde systemen je website mogen bezoeken voor zoekresultaten, AI-agenten en het trainen van modellen.
De belangrijkste les is niet dat je voortaan alle AI-bots moet blokkeren. Juist het onderscheid tussen vindbaarheid en hergebruik wordt belangrijker. Wie zonder controle alles toestaat, geeft mogelijk meer toegang dan gewenst. Wie alles blokkeert, kan tegelijk kansen missen in Google, AI-zoekmachines en toekomstige digitale assistenten.
Cloudflare verdeelt geautomatiseerd AI-verkeer voortaan nadrukkelijker over drie gebruiksdoelen:
Cloudflare kondigde aan dat vanaf 15 september bij nieuwe domeinen de categorieën Training en Agent standaard worden geblokkeerd op pagina’s met advertenties. Search blijft daar standaard toegestaan. Het doel is om menselijke bezoekers en advertentie-inkomsten te beschermen, zonder automatisch het zoekverkeer af te sluiten.
Het gaat dus niet om een wereldwijde blokkade voor iedere bestaande website. Nieuwe domeinen, advertentiepagina’s, bestaande instellingen en de keuzes van de beheerder spelen allemaal een rol. Bestaande Cloudflare-gebruikers doen er daarom goed aan hun configuratie actief te controleren in plaats van aan te nemen dat de standaardinstelling bij hun strategie past.
Traditionele SEO draait onder andere om crawlbaarheid, indexatie, inhoud en autoriteit. GEO, oftewel Generative Engine Optimization, voegt daar een nieuw distributiekanaal aan toe: AI-systemen die informatie verwerken, samenvatten en als bron kunnen tonen.
Google stelt in zijn officiële documentatie dat voor AI Overviews en AI Mode dezelfde fundamentele SEO-principes blijven gelden. Een pagina moet geïndexeerd kunnen worden en geschikt zijn om als zoekresultaat met snippet te verschijnen. Google noemt daarbij expliciet dat crawling niet door robots.txt, een CDN of hostinginfrastructuur mag worden geblokkeerd.
Dat maakt de Cloudflare-instelling direct relevant. Je kunt inhoudelijk een sterke pagina hebben, maar wanneer een belangrijke zoekcrawler bij de infrastructuur wordt tegengehouden, kan die pagina niet goed worden verwerkt. Andersom betekent toegang voor Search niet automatisch dat je ook toestemming hoeft te geven voor Training. Dat onderscheid is precies waar de nieuwe instellingen om draaien.
De lastigste categorie bestaat uit crawlers die meerdere doelen combineren. Cloudflare meldde aanvankelijk dat bij zo’n crawler de strengste toepasselijke regel leidend kan zijn. Een crawler die zowel Search als Training uitvoert, kan daardoor worden geblokkeerd wanneer Training niet is toegestaan, ook als Search wel aanstaat.
Met Bot Preference Sync heeft Cloudflare dit verder verfijnd. Deze functie houdt de ingestelde voorkeuren voor Search, Agent en Training gelijk met de verklaringen in robots.txt. Transparante crawlers die een keuze tegen training respecteren en inzicht geven in hun gebruik, kunnen onder de verfijnde aanpak toegang voor zoeken behouden. Minder transparante crawlers krijgen dat voordeel niet automatisch.
Voor website-eigenaren betekent dit dat één algemene regel steeds minder geschikt wordt. Controleer zowel de categorieën in Cloudflare als de uiteindelijke robots.txt. Alleen dan weet je wat je publiek verklaart en wat technisch aan de rand van het netwerk wordt afgedwongen.
De juiste keuze hangt af van je verdienmodel en van wat je met online zichtbaarheid wilt bereiken.
Bepaal eerst of je verkeer wilt ontvangen uit zoekmachines, of AI-agenten je openbare informatie mogen gebruiken en of je content beschikbaar mag zijn voor modeltraining. Begin met het bedrijfsdoel en pas daarna de technische instelling aan.
Bekijk in het Cloudflare-dashboard de regels voor Search, Agent en Training. Let op uitzonderingen voor advertentiepagina’s en op eerder ingestelde algemene blokkades. Maak een korte notitie van de huidige situatie voordat je iets verandert.
Open jouwdomein.nl/robots.txt en controleer of de verklaringen overeenkomen met je Cloudflare-keuzes. Bot Preference Sync kan dit beheer vereenvoudigen, maar bestaande regels blijven relevant en kunnen elkaar beïnvloeden.
Gebruik Google Search Console en URL-inspectie voor belangrijke diensten- en landingspagina’s. Controleer daarnaast of je beveiligingsregels, WordPress-plug-ins of CDN geen geldige zoekcrawler blokkeren. Google benadrukt dat speciale AI-bestanden of aparte AI-schema’s niet nodig zijn om voor zijn AI-zoekfuncties in aanmerking te komen.
Volg indexatie, organisch verkeer, verwijzingen vanuit AI-platforms en serverlogs. Kijk niet alleen naar aantallen bezoeken, maar ook naar aanvragen, contactmomenten en omzet. Een instelling is pas goed wanneer die bijdraagt aan het doel van de website.
Google omschrijft robots.txt als een manier om crawlerverkeer te sturen, niet als een methode om informatie af te schermen. Crawlers moeten de instructies vrijwillig naleven en een geblokkeerde URL kan soms nog worden gevonden via externe links. Cloudflare kan verkeer daarnaast daadwerkelijk aan de netwerkzijde blokkeren.
Gebruik daarom beide lagen bewust: robots.txt om je voorkeur duidelijk te publiceren en technische toegangsregels om die waar nodig af te dwingen. Privégegevens, klantinformatie en interne documenten moeten altijd achter echte toegangsbeveiliging staan.
De wijziging van Cloudflare laat zien dat AI-vindbaarheid en controle over content niet langer hetzelfde vraagstuk zijn. Search, Agent en Training hebben ieder een ander doel en verdienen dus een afzonderlijke keuze. Voor veel mkb-websites zal het logisch zijn om zoekzichtbaarheid te behouden, terwijl toegang voor training en agenten bewuster wordt ingesteld.
Wil je weten of jouw hosting, robots.txt en AI-crawlerinstellingen elkaar niet tegenwerken? Lees meer over hosting en onderhoud bij Clarivo of neem contact met ons op voor een technische controle.
