Voorbeeld robot.txt
Voorbeeld van ROBOT.TXT Met vertraging in het laten doorzoeken van een website! Select & Copy # tooljunkie.eu User-agent: * Crawl-delay: 10 Allow: / # Disallow: /*.jpg => Geen plaatjes toelaten…
Voorbeeld van ROBOT.TXT Met vertraging in het laten doorzoeken van een website! Select & Copy # tooljunkie.eu User-agent: * Crawl-delay: 10 Allow: / # Disallow: /*.jpg => Geen plaatjes toelaten…