| ChiemoBeegree | Дата: Понедельник, 2013-02-11, 6:59 PM | Сообщение # 1 |
|
Полковник
Группа: Пользователи
Сообщений: 161
Статус: Offline
| Настройка robots.txt
Для успешного ведения бизнеса в сети одним из http://lightdreamstudio.ru/Sozdanie_sayta_vizitki.php - создание сайтов предложение
основных факторов является защита информации, которая размещена на http://lightdreamstudio.ru/Prodvizhenie_i_raskrutka_saytov.php - раскрутка сайта быстро
сайте. Особенно это касается персональных данных пользователей, утечка которых всегда негативно сказывается на репутации компании.
В связи с этим, занимаясь поисковым продвижением сайта, в первую очередь следует уделять внимание не тому, какие страницы должны быть проиндексированы, чтобы занять ведущие позиции в ТОПе поисковиков, а тому, какие из них не должны индексироваться ни в коем случае. Файл robots.txt является основным инструментом ограничения поисковым роботам доступа к информации на сайте.
Наиболее часто файл robots.txt как раз и используется для запрета поисковым роботам индексирования страниц:
- содержащих конфиденциальную информацию (к ним можно отнести любые сайты, на которых хранятся - персональные данные http://lightdreamstudio.ru/sozdanie_saytov.php - раскрутка канала youtube
пользователей, а также интернет-магазины);
- дублей контента (интернет-магазины, блоги, сайты, в которых используется пейджинг и т.д.).
- удаленных или перемещенных, что наиболее часто случается, когда изменяется структура сайта или появляется новое зеркало, для http://lightdreamstudio.ru/sozdanie_saytov.php - Накрутить Ютуб
максимально скорого обновления кэша поисковой системы;
Следует отметить, что современные CMS на сегодняшний день обладают встроенными возможностями запрещения индексирования страниц-повторов по виду URL.
Так что robots.txt для этих целей вам вряд ли придется использовать.
С помощью файла robots.txt поисковому роботу можно задать также и время, необходимое для того, чтобы страница загрузилась, и другие технические показатели вашего сайта.
Однако следует знать, что применение таких директив не является приоритетной целью robots.txt и в каждой поисковой системе имеет http://lightdreamstudio.ru/Sozdanie_sayta_vizitki.php - создать сайт визитку
свои отличительные особенности.
|
| |
| |
