skip to content
Advertentie

silem.link: Mirrored from www.robotstxt.org, Mon 19 Jun 2017 13:44:50 GMT
silem.link: See also The ultimate guide to the meta robots tag, by Yoast

De webrobotpagina’s

Webrobots (ook bekend als Web Wanderers, Crawlers, en Spiders), zijn programmaatjes die automatisch het Web afstruinen. Zoekmachines zoals Google gebruiken hen om webcontent te indexeren, spammers gebruiken hen om e-mailadressen te vinden, en ze hebben nog veel meer andere toepassingen.

Op deze website kun je meer leren over webrobots.

Advertentie