Goed voorbeeld van een robot.txt
Speciaal voor WordPress
Wildcards etc
| Voorbeelden (ROBOT.TXT) | |
|---|---|
/ |
Matches the root and any lower level URL. |
/ |
Equivalent to /. The trailing wildcard is ignored. |
/ |
Matches only the root. Any lower level URL is allowed for crawling. |
/ |
Matches any path that starts with Matches:
Doesn’t match:
|
/ |
Equivalent to Matches:
Doesn’t match:
|
/ |
Matches anything in the Matches:
Doesn’t match:
|
/ |
Matches any path that contains Matches:
Doesn’t match:
|
/ |
Matches any path that ends with Matches:
Doesn’t match:
|
/ |
Matches any path that contains Matches:
Doesn’t match: |
Disallow: /profile/*/photos (Handig voor Peepso)
Alles met ? blokkeren:
Disallow: /*?
Dus ook: /script?register=1&lang=nl
Alle mappen met tag weigeren:
Disallow: */tag/
Alles met lang=
/
Dus bijvoorbeeld www.jouwsite.nl/nieuws/download-wintools-1721?forgotUser=1&lang=nl
