Коллеги,
расскажите, пожалуйста, как грамотно составлять файл robots.txt?
Какие стандарты регулируют его синтаксис, какие наиболее важные моменты следует знать?
Какую пользу может принести грамотное применение robots.txt?
Как писать robots.txt?
18 мая 2008, 14:48
Автор: 1234ru
|
|
burhttp://help.yandex.ru/webmaster/?id=996567Fastcoder.org — портал для JavaScrpt-программистов
|
18.05.2008, 16:48 Ответить |
|
NO USERPIC
|
rgbeastСтандарту robots.txt должны подчиняться все роботы: http://www.robotstxt.org/orig.htmlЯндекс использует расширенную версию стандарта (разрешена директива Host и элементы регулярных выражений). Директива Host задает основное зеркало домена. Поддерживают ли другие поисковики директиву Host? |
18.05.2008, 17:29 Ответить |
|
NO USERPIC
|
larkДирективу Host поддерживает только Яндекс.Также только Яндекс поддерживает директиву Allow; Справка по использованию директив Allow/Disallow: http://help.yandex.ru/webmaster/?id=996567#996571 |
19.05.2008, 10:17 Ответить |
© 2007—2010 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
