Как писать robots.txt?

18 мая 2008, 14:48

Автор: 1234ru

Коллеги,
расскажите, пожалуйста, как грамотно составлять файл robots.txt?

Какие стандарты регулируют его синтаксис, какие наиболее важные моменты следует знать?
Какую пользу может принести грамотное применение robots.txt?

Добавить комментарий
Отображение комментариев: Древовидное | Плоское

bur

http://help.yandex.ru/webmaster/?id=996567

18.05.2008, 16:48
Ответить

NO USERPIC

rgbeast

Стандарту robots.txt должны подчиняться все роботы: http://www.robotstxt.org/orig.html
Яндекс использует расширенную версию стандарта (разрешена директива Host и элементы регулярных выражений).

Директива Host задает основное зеркало домена. Поддерживают ли другие поисковики директиву Host?

18.05.2008, 17:29
Ответить

NO USERPIC

lark

Директиву Host поддерживает только Яндекс.
Также только Яндекс поддерживает директиву Allow;
Справка по использованию директив Allow/Disallow: http://help.yandex.ru/webmaster/?id=996567#996571

19.05.2008, 10:17
Ответить

NO USERPIC

adilahhemmnox

На dle есть ли смысл закрывать директорию tags ?Кто то говорит надо кто то нет , но ни кто не говорит почему, я вот честно говоря вообще не понимаю зачем нужны теги если их нигде не выводить и закрыть от индекса, кстати заметил что например на сайте многа.нет эта директория открыта

15.02.2011, 10:40
Ответить

NO USERPIC

rgbeast

Облако тегов может быть удобно для пользователя, если сделано правильно. С другой стороны в dle, на примере многа.нет оно реализовано криво - очень много ссылок на странице, размер тега не зависит от его значимости. Подобные страницы трудно и читать и индексировать - скорее всего поисковик съест только первые 100 (или около того) ссылок со страницы, остальное проигнорирует. Грамотнее выводить не все теги, а только популярные, причем размер шрифта должен зависеть от популрности, пример http://regforum.ru/tags.php

Вывод: если список тегов сделан криво, то он бесполезен - в этом случае проще отключить его совсем. Если сделан правильно - открыть и для юзеров и для поисковиков.

15.02.2011, 17:22
Ответить

© 2008—2025 webew.ru, связаться: x собака webew.ru
Сайт использует Flede и соответствует стандартам WAI-WCAG 1.0 на уровне A.

Метки
CSS
HTML
JavaScript
Linux
MySQL/MariaDB
PHP
XML
Алгоритмы
Интернет-маркетинг
SEO
SMO
контекстная реклама
оценка эффективности
социальные сети
управление проектами
целевая аудитория
юзабилити
Протоколы
С/C++
Управление содержимым