robots.txt

Robots.txt ist eine machinenlesbare Datei auf einem Webserver, die dem Webcrawler vorgibt, welche Verzeichnisse auf dem Sever nicht durchsucht werden sollen.