In het Robots.txt bestand kan je tags toevoegen die worden gebruikt om zoekmachines zoals Google instructies te geven over hoe ze een webpagina moeten behandelen in zoekresultaten. Hier is een uitleg van elk van de tags:

1. Noindex

- Betekenis: Deze tag instrueert zoekmachines om de pagina niet op te nemen in hun zoekresultaten.
- Gebruik: Als je niet wilt dat een specifieke pagina in zoekmachines wordt weergegeven, bijvoorbeeld een interne bedankpagina na een formulier.

2. Nofollow

- Betekenis: Deze tag vertelt zoekmachines dat ze geen waarde (linkjuice) moeten doorgeven aan links op die pagina.
- Gebruik: Voor pagina's waar je niet wilt dat externe links bijdragen aan de SEO-score van de gelinkte sites, zoals in commentsecties of gesponsorde inhoud.

3. Noarchive

- Betekenis: Hiermee wordt zoekmachines gevraagd geen kopie (cache) van de pagina op te slaan of weer te geven in de zoekresultaten.
- Gebruik: Voor gevoelige of vaak veranderende content waar je niet wilt dat een oude versie wordt weergegeven.

4. Nosnippet

- Betekenis: Voorkomt dat zoekmachines een samenvatting of snippet (zoals een meta-description) van de pagina weergeven in zoekresultaten.
- Gebruik: Wanneer je niet wilt dat tekst of informatie van de pagina wordt weergegeven in de zoekresultaten.

5. Notranslate

- Betekenis: Geeft zoekmachines de instructie om geen optie voor vertaling aan te bieden voor de pagina.
- Gebruik: Voor pagina's die specifiek in een bepaalde taal zijn bedoeld en waar vertaling niet wenselijk is, bijvoorbeeld juridische documenten.

6. Noimageindex

- Betekenis: Voorkomt dat afbeeldingen op de pagina worden opgenomen in de zoekresultaten van beeldzoekmachines.
- Gebruik: Voor gevoelige of auteursrechtelijk beschermde afbeeldingen die niet openbaar moeten zijn in beeldzoekresultaten.

Je kunt meerdere instructies combineren door ze te scheiden met een komma.