Следующий пример файла "/robots.txt" определяет, что ни один робот не должен посещать любой URL начинающийся с "/cyberworld/map/" или с "/tmp/":
# robots.txt для http://www.site.com/
User-agent: *
Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство
Disallow: /tmp/ # это скоро исчезнетДанный пример файла "/robots.txt" определяет, что ни один робот не должен посещать любые URL начинающиеся с "/cyberworld/map/", за исключением робота именующегося "cybermapper":
# robots.txt для http://www.site.com/
User-agent: *
Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство
# Cybermapper знает где можно ходить.
User-agent: cybermapper
Disallow:Этот пример индицирует, что ни один робот не должен посещать данный сайт вообще:
# уходите
User-agent: *
Disallow: /