Профиль: Аноним (вход | регистрация) неRU opennet.me  
The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Каталог документации / Раздел "Руководства по FreeBSD на русском" / Оглавление документа

8.34. В журнале ошибок apache зачастую появляются сообщения о попытках запросить файл robots.txt. Кому и зачем он нужен?

Этот файл содержит правила (Robot Rules) исключений для различных роботов индексации, поиска или зеркалирования веб-серверов.

Стандарт, описывающий содержимое этого файла, можно найти по адресу http://info.webcrawler.com/mak/projects/robots/norobots.html




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2026 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру