AI-crawler

Ook wel: bot, user agent

Het programma waarmee een AI-bedrijf jouw pagina's ophaalt.

GPTBot, ClaudeBot, PerplexityBot en Google-Extended zijn de bekendste. Ze gedragen zich als een bezoeker zonder browser: ze halen de HTML op en lezen wat daarin staat.

Als je server ze weigert, of als je robots.txt ze uitsluit, houdt het daar op. Een pagina die niet opgehaald mag worden, kan ook niet geciteerd worden, en dat is de best onderbouwde aanpassing in onze hele catalogus.

Hoe hard is het bewijs hiervoor

Sterk bewijs

Een pagina die niet opgehaald mag worden, kan ook niet worden geciteerd; toegankelijkheid staat op 9,5 van 10 in de meta-analyse van Shepard uit 2026 over 54 studies, de hoogste van 23 factoren.

Bron: Cyrus Shepard, "AI Citation Ranking Factors", Zyppy Signal, 7 mei 2026 (meta-analyse van 54 studies)

Let op bij het bewijs: 54 studies samengevat door Shepard, overwegend Engelstalige sites en niet uitgesplitst naar taal, land of bedrijfsgrootte.

Zie ook

robots.txt Een tekstbestand op je site dat per bot zegt wat hij wel en niet mag ophalen.
Server-side rendering De tekst staat al in de HTML die je server verstuurt, in plaats van dat JavaScript hem later opbouwt.

Terug naar het woordenboek

Weten waar jij staat?

De gratis check meet of de assistenten jouw bedrijf noemen bij de vragen die klanten werkelijk stellen.

Doe de gratis check