webew
Войти » Регистрация
 
Интернет-маркетинг :: SEO

Как писать robots.txt?

18 мая 2008, 14:48
Автор: 1234ru
Коллеги,
расскажите, пожалуйста, как грамотно составлять файл robots.txt?

Какие стандарты регулируют его синтаксис, какие наиболее важные моменты следует знать?
Какую пользу может принести грамотное применение robots.txt?
Добавить комментарий
Отображение комментариев: Древовидное | Плоское

bur

http://help.yandex.ru/webmaster/?id=996567
18.05.2008, 16:48
Ответить
NO USERPIC

rgbeast

Стандарту robots.txt должны подчиняться все роботы: http://www.robotstxt.org/orig.html
Яндекс использует расширенную версию стандарта (разрешена директива Host и элементы регулярных выражений).

Директива Host задает основное зеркало домена. Поддерживают ли другие поисковики директиву Host?
18.05.2008, 17:29
Ответить
NO USERPIC

lark

Директиву Host поддерживает только Яндекс.
Также только Яндекс поддерживает директиву Allow;
Справка по использованию директив Allow/Disallow: http://help.yandex.ru/webmaster/?id=996567#996571
19.05.2008, 10:17
Ответить
NO USERPIC

adilahhemmnox

На dle есть ли смысл закрывать директорию tags ?Кто то говорит надо кто то нет , но ни кто не говорит почему, я вот честно говоря вообще не понимаю зачем нужны теги если их нигде не выводить и закрыть от индекса, кстати заметил что например на сайте многа.нет эта директория открыта
15.02.2011, 10:40
Ответить
NO USERPIC

rgbeast

Облако тегов может быть удобно для пользователя, если сделано правильно. С другой стороны в dle, на примере многа.нет оно реализовано криво - очень много ссылок на странице, размер тега не зависит от его значимости. Подобные страницы трудно и читать и индексировать - скорее всего поисковик съест только первые 100 (или около того) ссылок со страницы, остальное проигнорирует. Грамотнее выводить не все теги, а только популярные, причем размер шрифта должен зависеть от популрности, пример http://regforum.ru/tags.php

Вывод: если список тегов сделан криво, то он бесполезен - в этом случае проще отключить его совсем. Если сделан правильно - открыть и для юзеров и для поисковиков.
15.02.2011, 17:22
Ответить
© 2008—2017 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.
Rambler's Top100

Реклама: