Какой рейтинг вас больше интересует?
|
Главная / Главные темы / Тэг «robots»
SEO оптимизация сайта. Как написать и проверить файл robots.txt для WordPress. 2013-11-28 11:06:36
... проверить файл robots.txt для ... : Зачем нужен robots.txt, Как ... написать файл robots.txt, Как ...
+ развернуть текст сохранённая копия
Доброго времени суток!
На блоге PAMMAP., на который Вы подписаны, появились новые записи:
SEO оптимизация сайта. Как написать и проверить файл robots.txt для WordPress. Приветствую, уважаемые читатели блога PAMMAP.RU. В этой статье я постараюсь ответить на следующие вопросы: Зачем нужен robots.txt, Как написать файл robots.txt, Как проверить файл robots.txt. Зашел я недавно в Яндекс.Вебмастер, чтобы посмотреть, что делает поисковый робот Яндекса на моем сайте. Как подключить свой сайт к Яндекс.Вебмастер Вы можете посмотреть если перейдете по ссылке. И увидел, что в […] Удачных Инвестиций и успехов во всех ваших делах.
С уважением Сергей,
Автор блога PAMMAP.
Тэги: robots.txt, seo, оптимизация, проверить, продвижение, сайта, сайта., составить
Что такое зеркало сайта? 2013-11-27 18:36:25
Наверное, многие пользователи интернета не раз сталкивались с сайтами-зеркалами их любимых ...
+ развернуть текст сохранённая копия
Наверное, многие пользователи интернета не раз сталкивались с сайтами-зеркалами их любимых ресурсов. Что же это такое и зачем они нужны можно узнать из данной статьи.(...)Читать далее... Что такое зеркало сайта? (161 words) Copyright © 2013, FinstripBlog.ru. Все права защищены. | Постоянная ссылка | Нет комментариев Хотите узнать больше? Посмотреть все записи в категории Техническая оптимизация сайта. Что такое зеркало сайта? источник статьи: FinstripBlog FinstripBlog - Блог о заработке в интернете, seo, блоггинге, манимейкинге, марафонах, финстрипе и особенностях интернет бизнеса в Белоруссии.
The post Что такое зеркало сайта? appeared first on FinstripBlog.
Тэги: 301, robots.txt, главное, зеркало, оптимизация, редирект, сайта, техническая
Файл robots.txt для блога 2013-11-16 04:26:00
... поиска-пользовательский файл robots.txt, ... опреденных роботов. Вместо robots вписываете
+ развернуть текст сохранённая копия
Robots.txt для блога BlogspotЗдравствуте дорогие мои читатели и все, кто заскочил на огонек. Сегодня у нас важный урок, будем разбираться, что же это за файл такой robots.txt, который настоятельно советуют создать для улучшения индексирования нашего ресурса. Прочитав массу информации, я хочу поделиться с Вами своими соображениями в создании этого файла. Начну с того, что файл robots.txt необходимо создать, если на Вашем сайте или блоге присутствует содержание, индексирование которого Вы хотите запретить. Но если Вы хотите, чтобы всё содержание блога попало в индекс поисковых систем, создание такого файла вовсе не требуется. На блогах Blogspot уже автоматически создан такой файл и выглядит он вот так:
User-agent: Mediapartners-Google -разрешается реклама Google к примеру AdSense
Disallow: User-agent: * - звездочка, разрешение индексировать всем роботам Disallow: /search - разрешено индексировать всем
Allow: / Sitemap: http://horizon-s.blogspot.com/feeds/posts/default?orderby=UPDATED Посмотреть файл robots.txt Вашего блога можно в инструментах для вебмастеров-сканирование-заблокированные URL. Но многие владельцы сайтов хотят запретить, к примеру, индексировать архив., чтобы не было дублированного контента. В таком случае файл robots.txt будет выглядеть так: Этот файл я создала сама, хоть и архив у меня пока удален.
User-agent: * Disallow: /search Disallow: /*archive Allow: /
User-agent: Yandex Disallow: /search Disallow: /*archive Allow: /
User-agent: Mail.Ru Disallow: /search Disallow: /*archive Allow: /
Sitemap:http://www.bdblogov.ru/atom.xml?redirect=false&start-index=1&max-results=500 Можно создать для всех роботов сразу User-agent: * Disallow: /search Disallow: /*archive Allow: /Что интересно, Яндекс скушал этот файл, а в другом блоге horizon-s.blogspot.com не принял. Причина, как я полагаю в домене, этот блог на персональном домене ru. В строке Disallow перечисляются страницы, которые необходимо заблокировать. В примере у меня заблокирован архив. Можно указать адрес URL страницы. Ввод должен начинаться с косой черты / . Чтобы заблокировать весь сайт - Disallow:/ Чтобы заблокировать архив или определенную страницу - Disallow:/archive/ Disallow:/ URL страницы Чтобы удалить из индекса все изображения User-agent: Googlebot-image Disallow:/ Чтобы заблокировать одну из картинок User-agent: Googlebot-image Disallow:/kartinki/ url адрес на картинку
Чтобы использовать файл robots, необходимо иметь доступ к корневому каталогу блога. Для блогов blogspot такого доступа мы не имеем, но есть возможность добавить файл в настройки-настройки поиска-пользовательский файл robots.txt, смотрите на скриншоте
Нажмите-изменить-использовать собственный файл robots.txt-нажать-да. В поле вставьте созданный Вами файл, нажмите-сохранить. Так же разрешить или запретить индексацию определенных страниц, видео, изображений можно, если воспользоваться мета тэгом robots и вставить его в тело шаблона, дизайн-изменить шаблон, в разделе <head></head> Примеры мета тэгов: Чтобы запретить индексирование всего содержания блога, есть же люди, которые ведут блог только для себя, применяют такой мета тэг <meta name="robots"content="noindex"/>-это для всех роботов <meta name="googlebot"content="noindex"/>-это для робота Google-Googlebot
Для всех без исключения роботов мета тэг выглядит так
<meta name="robots"content="index,follow"/>-разрешается индексировать страницы и ссылки;
<meta name="robots" content="nofollow"/>-не разрешается индексировать ссылки; .
Здесь следует учесть, что если Вы внесли какие-либо изменения, файл robots должен быть обновлен. Даже после того, как робот обнаружит изменения, сканирование и индексирование-это сложный и длительный процесс, и может занять определенное время. Подробнее читайте на сайте Google. создание файла robots.txt вручную. Теперь поговорим о роботе Яндекса. В Яндексе несколько видов роботов, которые выполняют разные функции. Есть робот, индексирующий только rss ленту, робот, индексирующий только картинки. Самый важный, основной робот,функция которого-поиск и индексирование информации-для формирования базы основного поиска. В помощь основному, есть быстрый робот-предназначен для оперативного индексирования свежей информации. Поэтому, если среди приндексированных страниц в Яндексе увидите похожие, это может означать только одно-страница проиндексирована и основным и быстрым роботом. Читайте о роботах Яндекса на этом сайте. Вернемся к мета тэгам. Для Яндекса также можно прописать мета тэги., только используя тэг nofollow Смотрите примеры <meta name="robots"content="all"/>-разрешить индексировать текст и ссылки на странице - аналогично <meta name="robots"content="index,follow"/> <meta name="robots" content="nofollow"/>-не переходить по ссылкам на странице
Для запрета индексирования какого-то определенного участка текста можно использовать тэг <noindex>.Работает как мета тэг noindex, но распространяется только на контент. <noindex>запрещенный для индексирования текст</noindex> Этот тэг может находится в любом месте html кода страницы. Об использовании Мета тэгов для Яндекса переходим на этот сайт. В этих приведенных примерах файла robots.txt, Вы можете разрешить или запретить индексирование для опреденных роботов. Вместо robots вписываете yandex-робот Яндекса, googlebot-робот Google, mail.ru-робот Mail.ru и другие. На этом моя информация заканчивается. Надеюсь будет Вам полезна. Всего доброго.
Тэги: robots.txt, файл
Недорогие однорукие роботы согласны на любую работу 2013-10-29 14:30:45
... . Компания-стартап Unbounded Robotics начала продажи недорогой ...
+ развернуть текст сохранённая копия
Универсальные роботы из фантастических фильмов, готовые выполнять любую работу, ждут своих новых хозяев. Компания-стартап Unbounded Robotics начала продажи недорогой однорукой «умной» машины, умеющей делать все. Практически все. Читать далее... Hi-News.ru - Новости высоких технологий. | Комментарии: 5 Посмотреть все записи в категории Роботы.
Тэги: robotics, unbounded, дома, роботы
Робо-Рыба 2013-09-13 14:40:57
Классная игрушка для ванны или бассейна. Детская игрушка (а вы что подумали?)
Читать дальше
+ развернуть текст сохранённая копия
Классная игрушка для ванны или бассейна. Детская игрушка (а вы что подумали?)
Читать дальше
Тэги: fish, robotic
Главная / Главные темы / Тэг «robots»
|
Взлеты Топ 5
Падения Топ 5
|
