Значение этого поля описывает конкретный URL, который не должен
обрабатываться. Это может быть как полный так и частичный путь.
Любой URL, который начинается с этого значения, не должен быть
выгружен. Например, "Disallow: /help" запрещает одновременно
и "/help.htm", и "/help/index.html"; в то время как
"Disallow: /help/" будет запрещать "/help/index.html", но
разрешать "/help.html".
Любое пустое значение индицирует, что все URL могут быть выгружены. Как минимум одно запрещающее поле должно существовать в записи.