Gratis SEO tool
Robots.txt Generator en Tester
Bouw een robots.txt bestand met de juiste regels voor je website en test direct of een zoekmachine crawler toegang heeft tot een specifiek pad.
robots.txt output
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://madatech.nl/sitemap-index.xml
Let op: robots.txt is geen beveiliging
Een robots.txt bestand is een verzoek aan zoekmachine crawlers, geen blokkade. Gebruik het voor crawl-beheer, niet om gevoelige pagina's te verbergen. Gebruik hiervoor authenticatie of server-side toegangscontrole.
Veelgestelde vragen
Gerelateerd