Robots.txt

Robots.txt on tiedosto, jolla ohjeistetaan hakukoneille ja muille boteille mitä sivuston sisältöjä ne saa tai ei saa tutkia ja indeksoida. Yleensä tällä pyritään estämään arkaluonteisten (kuten organisaation sisäiset intrasivut) sivujen päätyminen hakukonetuloksiin.