Robot.txt voorbeeld: zo stel je dit bestand goed in

Goed voorbeeld van een robot.txt

User-agent: *
Crawl-delay: 10
Allow: /
# Disallow: /*.jpg    => Geen plaatjes toelaten
Disallow: /cgi-bin/
Disallow: /templates/ 
# Allow: /brieven       =>   deze map wel toelaten  
Sitemap: https://tooljunkie.nl/sitemap.xml
# tooljunkie.nl - studiovianova.nl    ---->   Zet # voor een regel en hij staat uit

Voorbeeld 2:
Speciaal voor WordPress

User-agent: *
Crawl-delay: 5
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Hou rommel-URL's en duplicaten buiten de crawl
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /comments/
Disallow: /*?replytocom=
# Trackingparameters (voorkomt eindeloze varianten)
Disallow: /*?utm_*
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?msclkid=
Disallow: /*?mtm_*
# Render-kritieke assets toestaan
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
# XML-sitemap
# Sitemap: https://www.websitenaam.nl/sitemap.xml
# Check tooljunkie.nl voor meer webbedingetjes

Wildcards etc

Voorbeelden (ROBOT.TXT)
`/`	Matches the root and any lower level URL.
`/*`	Equivalent to `/`. The trailing wildcard is ignored.
`/$`	Matches only the root. Any lower level URL is allowed for crawling.
`/fish`	Matches any path that starts with `/fish`. Note that the matching is case-sensitive. Matches: `/fish` `/fish.html` `/fish/salmon.html` `/fishheads` `/fishheads/yummy.html` `/fish.php?id=anything` Doesn’t match: `/Fish.asp` `/catfish` `/?id=fish` `/desert/fish`
`/fish*`	Equivalent to `/fish`. The trailing wildcard is ignored. Matches: `/fish` `/fish.html` `/fish/salmon.html` `/fishheads` `/fishheads/yummy.html` `/fish.php?id=anything` Doesn’t match: `/Fish.asp` `/catfish` `/?id=fish` `/desert/fish`
`/fish/`	Matches anything in the `/fish/` folder. Matches: `/fish/` `/fish/?id=anything` `/fish/salmon.htm` Doesn’t match: `/fish` `/fish.html` `/animals/fish/` `/Fish/Salmon.asp`
`/*.php`	Matches any path that contains `.php`. Matches: `/index.php` `/filename.php` `/folder/filename.php` `/folder/filename.php?parameters` `/folder/any.php.file.html` `/filename.php/` Doesn’t match: `/` (even if it maps to /index.php) `/windows.PHP`
`/*.php$`	Matches any path that ends with `.php`. Matches: `/filename.php` `/folder/filename.php` Doesn’t match: `/filename.php?parameters` `/filename.php/` `/filename.php5` `/windows.PHP`
`/fish*.php`	Matches any path that contains `/fish` and `.php`, in that order. Matches: `/fish.php` `/fishheads/catfish.php?parameters` Doesn’t match: `/Fish.PHP`

Robot.txt voorbeeld: zo stel je dit bestand goed in

Geef een reactie Reactie annuleren