Как правильно создать файл robots.txt для CMS Joomla

robots.txt – текстовый файл, расположенный в корне сайта, содержащий специальные инструкции для поисковых роботов, служит для запрета  от индексации дублей страниц, админки, страниц регистрации пользователлей, ссылок на печать и т.п.

Создание файла robots.txt

Для создания используйте любой текстовый редактор, в нем создаем пустой файл с  именем robots.txt. Открываем созданный файл и вписываем в него инструкции:

User-agent: *                                 

Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1     

Disallow: /administrator/            

Disallow: /cache/                           

Disallow: /components/              

Disallow: /includes/                      

Disallow: /language/                     

Disallow: /libraries/                       

Disallow: /logs/                                              

Disallow: /media/                          

Disallow: /modules/                      

Disallow: /plugins/                        

Disallow: /templates/                               

Disallow: /tmp/                                       

Disallow: /404                                  

Disallow: /*?                                     

Disallow: /*%                                  

Disallow: /*&                                     

Disallow: /index.php?                 

Disallow: /index.html                   

Disallow: /index2.php                              

Disallow: /index.php                     

Disallow: /*pop=                             

Disallow: /*task=vote                   

Disallow: /*=watermark              

Disallow: /*=download                               

Disallow: /*tag              

Disallow: /*.pdf                         

Disallow: /*.swf               

Disallow: /*print=1         

Disallow: /*=atom      

Disallow: /*=rss                               

Host: ВАШ_САЙТ          

Sitemap: http://BAШ-сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1              

Сохраняемся и загружаем файл в корневой каталог сайта. 

Описание параметров файла robots.txt

Разрешаем обращатся любым роботам (вместо * можно указать имя конкретного поискового робота например Yandex). 

User-agent: *   

Разрешает доступ к карте сайта для индексирования. 

Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1     

Запрещает индексацию директорий CMS Joomla - панели управления, компонентов, модулей, плагинов, временных файлов, логов, шаблонов и т.п, оставляем открытой для индексирования только папку /images/ для индексирования изображений на Вашем сайте. 

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/        

Запрещаем индексацию  404 ошибки. 

Disallow: /404                                

Запрещаем индексацию всех ссылкок содержащих знаки ?, &. 

Disallow: /*?                                                                  

Disallow: /*&    

Запрещаем индексацию кириллических ссылок.  

Disallow: /*% 

Закрываем от индексации дубли главной страницы (если у вас нет этих дублей то пропустите этот пункт).                         

Disallow: /index.php?                 

Disallow: /index.html                

Disallow: /index2.php                                 

Disallow: /index.php                      

Закрываем от индексации файлы pdf и swf.

Disallow: /*.pdf               

Disallow: /*.swf               

Закрываем от индексации ссылку на печать.

Disallow: /*print=1         

Закрываем от индексации RSS.

Disallow: /*=atom          

Disallow: /*=rss                              

Закрываем от индексации всплывающие окона.

Disallow: /*pop=                            

Закрываем от индексации ссылки на водяные знаки.

Disallow: /*=watermark              

Закрываем от индексации  ссылки на скачивание.

Disallow: /*=download                                

Закрываем от индексации облака тегов (если вы его используете).

Disallow: /*tag    

Задаем главное зеркало вашего сайта.Поисковый робот индексирует сайты только по адресу главного зеркала т.е с www или без www.

Host: ВАШ_САЙТ          

Задаем адрес карты сайта для Вашего сайта (пишем в одну строку).  

Sitemap: http://BAШ-сайт/index.php?option=com_xmap&view=xml&tmpl=component&id=1               

Примечание: 

Если необходимо закрыть страницу от индексации (например /page), но при этом разрешить индексировать вложенные страницы (/page/links).    

Disallow: /page$

Чтобы найти какие страницы попали в индекс введите в строку поиска в Яндексе: host:ВАШ-САЙТ или site:ВАШ-САЙТ , а в Google: site:ВАШ-САЙТ

Пример: site:admin-gu.ru