Коллеги,
расскажите, пожалуйста, как грамотно составлять файл robots.txt?
Какие стандарты регулируют его синтаксис, какие наиболее важные моменты следует знать?
Какую пользу может принести грамотное применение robots.txt?
Как писать robots.txt?
18 мая 2008, 14:48
Автор: 1234ru
|
|
burhttp://help.yandex.ru/webmaster/?id=996567Fastcoder.org — портал для JavaScrpt-программистов
|
18.05.2008, 16:48 Ответить |
|
NO USERPIC
|
rgbeastСтандарту robots.txt должны подчиняться все роботы: http://www.robotstxt.org/orig.htmlЯндекс использует расширенную версию стандарта (разрешена директива Host и элементы регулярных выражений). Директива Host задает основное зеркало домена. Поддерживают ли другие поисковики директиву Host? |
18.05.2008, 17:29 Ответить |
|
NO USERPIC
|
larkДирективу Host поддерживает только Яндекс.Также только Яндекс поддерживает директиву Allow; Справка по использованию директив Allow/Disallow: http://help.yandex.ru/webmaster/?id=996567#996571 |
19.05.2008, 10:17 Ответить |
|
NO USERPIC
|
adilahhemmnoxНа dle есть ли смысл закрывать директорию tags ?Кто то говорит надо кто то нет , но ни кто не говорит почему, я вот честно говоря вообще не понимаю зачем нужны теги если их нигде не выводить и закрыть от индекса, кстати заметил что например на сайте многа.нет эта директория открыта |
15.02.2011, 10:40 Ответить |
|
NO USERPIC
|
rgbeastОблако тегов может быть удобно для пользователя, если сделано правильно. С другой стороны в dle, на примере многа.нет оно реализовано криво - очень много ссылок на странице, размер тега не зависит от его значимости. Подобные страницы трудно и читать и индексировать - скорее всего поисковик съест только первые 100 (или около того) ссылок со страницы, остальное проигнорирует. Грамотнее выводить не все теги, а только популярные, причем размер шрифта должен зависеть от популрности, пример http://regforum.ru/tags.phpВывод: если список тегов сделан криво, то он бесполезен - в этом случае проще отключить его совсем. Если сделан правильно - открыть и для юзеров и для поисковиков. |
15.02.2011, 17:22 Ответить |
© 2007—2012 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
