Als je bezig bent met online marketing of geïnteresseerd bent in een online marketing bureau, dan zul je vast wel eens iets meegekregen hebben over het robots.txt bestand. Dit is een erg belangrijk bestandje wat zeker aandacht verdient. Maar wat is het eigenlijk en waar wordt het voor gebruikt? Het komt in dit artikel naar voren.
Wat is robots.txt?
De robots.txt is een tekstbestand wat je in de root folder van je FTP server plaatst. Het is een simpel bestandje, welke grote invloed heeft.
Waar wordt het voor gebruikt?
Door een robots.txt bestand te gebruiken, kun je voorkomen dat bepaalde pagina’s van je website worden geïndexeerd en getoond in de zoekresultaten van Google.
Het is belangrijk om te onthouden dat iedereen de robots.txt kan zien. Probeer het maar eens uit door www.domeinnaam.nl/robots.txt in je browser te typen.
Waarom is het belangrijk?
Het kan gebeuren dat er informatie op je website staat waarvan je niet wil dat het in Google getoond wordt en dus voor iedereen toegankelijk is. Er staat bijna altijd informatie op je website welke je niet graag terug wil zien, zoals de pagina waar je op inlogt. Weer een ander voordeel van de robots.txt is dat je de locatie van je sitemap kunt tonen, waardoor de zoekmachine die automatisch kan vinden en kan indexeren.
Echter is het belangrijk dat dit bestand goed en met veel zorg gemaakt wordt. Je wilt natuurlijk niet dat geen enkele pagina van je website wordt geïndexeerd. Dit is wel een risico wat je loopt bij het verkeerd omgaan met de robots.txt.