webew
Войти » Регистрация
 
Интернет-маркетинг :: SEO

Как писать robots.txt?

18 мая 2008, 14:48
Автор: 1234ru
Коллеги,
расскажите, пожалуйста, как грамотно составлять файл robots.txt?

Какие стандарты регулируют его синтаксис, какие наиболее важные моменты следует знать?
Какую пользу может принести грамотное применение robots.txt?
Добавить комментарий

bur

http://help.yandex.ru/webmaster/?id=996567
Fastcoder.org — портал для JavaScrpt-программистов
18.05.2008, 16:48
Ответить
NO USERPIC

rgbeast

Стандарту robots.txt должны подчиняться все роботы: http://www.robotstxt.org/orig.html
Яндекс использует расширенную версию стандарта (разрешена директива Host и элементы регулярных выражений).

Директива Host задает основное зеркало домена. Поддерживают ли другие поисковики директиву Host?
18.05.2008, 17:29
Ответить
NO USERPIC

lark

Директиву Host поддерживает только Яндекс.
Также только Яндекс поддерживает директиву Allow;
Справка по использованию директив Allow/Disallow: http://help.yandex.ru/webmaster/?id=996567#996571
19.05.2008, 10:17
Ответить
© 2007—2010 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
Rambler's Top100