robots.txt
Robots.txt ist eine machinenlesbare Datei auf einem Webserver, die dem Webcrawler vorgibt, welche Verzeichnisse auf dem Sever nicht durchsucht werden sollen.
Robots.txt ist eine machinenlesbare Datei auf einem Webserver, die dem Webcrawler vorgibt, welche Verzeichnisse auf dem Sever nicht durchsucht werden sollen.