Mit dem Robots Exclusion Protocol (REP), besser bekannt als robots.txt, können Seitenbetreiber Crawler und automatische Clients vom Zugriff auf eine Website ausschließen. Google startet mit ersten Anpassungen bereits im September.
Robots Exclusion Protocol
Google will robots.txt zum Internet-Standard machen
