Книги по аквариумистике

Лучшая on-line библиотека для начинающих и профессионалов!

 

Файл robots.txt

Текстовый файл, находящийся в корневой директории сайта и применяемый для управления страницами, что индексируются поисковым роботом, называется файл robots.txt. Данный файл может запретить поисковому роботу двигаться по сайту. Чтобы уметь работать с этим файлом, нужно иметь определенные знания, которые также помогут при продвижении сайта своими руками. Поисковые роботы руководствуются в своей работе конкретными директивами, что расположены в robots.txt. При заходах на сайт, роботы проверяют наличие этого файла, и если его нет, может выдаваться страница «Not Found» («Не найдено»).

Чтобы проконтролировать наличие файла robots.txt, следует набрать в браузере URL www.название домена /robots.txt. Если помимо нужного текстового файла есть еще какое-то содержание, это значит, что данного файла нет на сайте. В таком случае лучше будет его загрузить, чтобы поисковая система и ее роботы распознавали необходимые страницы. Если файл будет составлен неграмотно, то он сократит число проиндексированного контента на сайте.

Индексацию можно закрыть, прописав в файле robots.txt «Disallow: /» Этот способ применяют при создании нового сайта, чтобы поисковый робот не проиндексировал недоработанные страницы. Благодаря этой конструкции, индексацию можно открывать для одних разделов страниц, а для других закрывать. Но после завершения всех работ необходимо потом это ограничение снять для нормальной работы поисковой системы. Чтобы проверить сайт, закрыта индексация или нет, нужно перейти по адресу www. ваш сайт /robots.txt и просмотреть содержание директивы Disallow. Это очень удобная функция.