Met een Robots.txt-bestand kunt u specifieke webpagina's uitsluiten van zoekresultaten. Crawlers negeren de pagina's en nemen ze niet op in de index van de website.
Aangezien sommige crawlers het bestand Robots.txt negeren, is wachtwoordbeveiliging de beste manier om een ​​webpagina te verbergen.