Главная » Как правильно заполнять

Как правильно заполнять robots txt

Как правильно заполнить файл Robots.txt

Зачем нужен файл robots.txt?

Перед тем как зайти на сайт, робот поисковой системы обращается к файлу http://www.sitename.ru/robots.txt, из которого узнаёт какие страницы сайта можно индексировать. а какие нельзя. Если файла robots.txt у сайта нет, то робот будет считать все страницы сайта доступными к индексированию.

В данном файле вы можете указать инструкции индексирования как для всех роботов сразу, так и для каждой поисковой системы (Яндекс, Google, Rambler и др.) по отдельности.

При заполнении файла следует помнить о двух важных вещах:

  1. роботы могут игнорировать файл /robots.txt, особенно это касается вредоносных роботов, сканирующих сайты на уязвимость в системе безопасности;
  2. файл /robots.txt является публичным и любой желающий сможет посмотреть какие именно разделы и страницы сайта вы захотели скрыть.

Поэтому не пытайтесь использовать файл robots.txt для того, чтобы скрыть информацию.

Настройка robots.txt

Для создания файла вы можете воспользоваться любым текстовым редактором. Обычно файл содержит запись, подобную этой:

В данном примере User-agent: * означает, что информация представлена для всех роботов сразу. Если вы хотите создать инструкцию только для робота Яндекс, используйте запись User-agent: Yandex , для робота Google: User-agent: Googlebot и др.

Директива Disallow: /tmp/ означает, что папка /tmp в корне сайта закрыта для индексации роботами. Строка Disallow: */author/* означает, что робот не должен индексировать страницы сайта, в любой части URL которого присутствует /author/.

Директива Host: sitename.ru показывает поисковому роботу главное зеркало сайта. Тут вы задаете, как хотите видеть сайт в поисковой выдачи с www перед названием сайта или без www.

Директива Sitemap: http://sitename.ru/sitemap.xml - показываем место расположения карты сайта в формате XML, этот файл необходим для правильной и быстрой индексации вашего сайта

Запрет индексации страниц и сайтов в файле Robots.txt

Для запрета к индексации рекомендуются следующие файлы и разделы:

  • служебные страницы и директории (страница административной панели и другие вспомогательные страницы)
  • страницы, содержащие дубли контента (RSS лента, рубрики, архивы, метки и др.)
  • страницы, содержащие результаты поиска

В идеале для индексации поисковыми системами стоит оставить только страницы, содержащие полезную информацию для пользователей, на которые они будут переходить из результатов поиска.

Что бы запретить к индексации весь сайт необходимо прописать следующее:

Это необходимо делать, когда вы разрабатываете новый сайт на поддомене или же преднамерено не хотите, что бы информация на сайте не попадала в поисковые системы.

Robots.txt. для популярных CMS

Примеры заполнения файла robots.txt для популярных систем управления, можете скачать по ссылкам:

Куда загружать Robots.txt?

Файл robots.txt должен быть загружен в корень сайта (верхняя папка на хостинге, где расположены другие папки вашей CMS и технические файлы), т.е. распологаться по адресу sitename.ru/robots.txt

Полезные ссылки

http://webmaster.yandex.ru/robots.xml - Проверка корректности заполнения файла для Яндекс;

http://robotstxt.org.ru/ - полный справочник по заполнению файла /robots.txt.

Отзыв Андрея Парабеллума о корпоративной консультации Сергея Погодаева на выездном тренинге на Бали.

  • При ранжировании сайтов по коммерческим запросам, поисковые системы уделяют особое внимание контактной информации на сайтах.

  • Яндекс анонсировал новый алгоритм ранжирования «Владивосток». Мобильный поиск Яндекса учитывает оптимизирован ли сайт для мобильных устройств.

  • Отзывы влияют на ранжирование сайтов - ФАКТ! Мы подготовили инструкцию по управлению репутацией и подобрали наиболее популярные сайты для размещения отзывов о вашей компании

    Как использовать файл robots.txt

    В начале лета интернет-маркетологи отметили юбилей: файлу robots.txt исполнилось 20 лет. В честь этого Google расширил функциональность инструментов для веб-мастеров, добавив в набор средство проверки файла robots.txt. Опытные маркетологи прекрасно знают, что это за файл и как с ним работать. А начинающие специалисты получат базовую информацию из этой статьи.

    Зачем необходим файл robots.txt

    В файле robots.txt содержится информация, которую используют при сканировании сайта поисковые роботы. В частности, из robots.txt краулеры узнают, какие разделы сайта, типы страниц или конкретные страницы не следует сканировать. С помощью файла вы исключаете из индекса поисковых систем контент, который не хотите показывать поисковикам. Также вы можете запретить индексирование дублированного контента.

    Если вы используете robots.txt неправильно, это может стоить вам дорого. Ошибочный запрет на сканирование исключит из индекса важные разделы, страницы или даже весь контент целиком. В этом случае вам сложно рассчитывать на успешное продвижение сайта.

    Как работать с файлом robots.txt

    Текстовый файл robots.txt содержит инструкции для роботов поисковых системы. Обычно его используют для запрета сканирования служебных разделов сайта, дублированного контента или публикаций, которые не предназначены для всей аудитории.

    Если у вас нет необходимости закрывать от сканирования какой-либо контент вам можно не заполнять robots.txt. В этом случае запись в файле выглядит так:

    Если вы по каким-то причинам собираетесь полностью заблокировать сайт для поисковых роботов, запись в файле будет выглядеть так:

    Чтобы правильно использовать robots.txt, вы должны иметь представление об уровнях директив:

    • Уровень страницы. В этом случае директива выглядит так: Disallow: /primerpage.html.
    • Уровень папки. На этом уровне директивы записываются так: Disallow: /example-folder/.
    • Уровень типа контента. Например, если вы не хотите, чтобы роботы индексировали файлы в формате .pdf, используйте следующую директиву: Disallow: /*.pdf.

    Будьте осторожны

    Помните о наиболее распространенных ошибках, встречающихся при составлении robots.txt:

    • Полный запрет индексации сайта поисковыми роботами

    В этом случае директива выглядит так:

    Зачем создавать сайт, если вы не разрешаете поисковикам его сканировать? Использование этой директивы уместно на стадии разработки или глобального усовершенствования ресурса.

    • Запрет на сканирование индексируемого контента

    Например, веб-мастер может запретить сканировать папки с видео и изображениями:

    Сложно представить ситуацию в которой запрет на сканирование индексируемого контента был бы оправданным. Обычно такие действия лишают сайт части трафика.

    Это действие не имеет никакого смысла. Поисковые системы по умолчанию сканируют весь доступный контент. С помощью файла robots.txt можно запретить сканирование, однако разрешать что-либо индексировать не нужно.

    Инструмент проверки файла robots.txt

    В середине июля Google представил инструмент проверки файла robots.txt. доступный в панели для веб-мастеров. Чтобы найти его, воспользуйтесь меню «Панель инструментов сайта – сканирование – инструмент проверки файла robots.txt».

    Новый инструмент решает следующие задачи:

    • Отображение текущей версии файла robots.txt.
    • Редактирование и проверка корректности файла robots.txt непосредственно в панели для веб-мастеров.
    • Просмотр старых версий файла.
    • Проверка заблокированных URL.
    • Просмотр сообщений об ошибках файла robots.txt.

    Если Google не индексирует отдельные страницы или целые разделы вашего сайта, новый инструмент поможет вам в течение нескольких секунд проверить, связано ли это с ошибками файла robots.txt. По данным эксперта Google Асафа Арнона, инструмент подсвечивает конкретную директиву, которая приводит к блокировке индексирования контента.

    Вы можете внести изменения в robots.txt и проверить его корректность. Для этого достаточно указать интересующий вас URL и нажать кнопку «Проверить».

    Представитель Google Джон Миллер рекомендует всем владельцам сайтов проверить файл robots.txt с помощью нового инструмента. По мнению эксперта, потратив несколько секунд на проверку, веб-мастер может выявить критические ошибки, которые препятствуют краулерам Google.

    Чтобы правильно использовать…

    … файл robots.txt, необходимо понимать его практический смысл. Этот файл служит для ограничения доступа к сайту для поисковых систем. Если вы хотите запретить роботам сканировать страницу, раздел сайта или тип контента, внесите соответствующую директиву a robots.txt. Проверяйте корректность использования файла с помощью нового инструмента доступного в панели для веб-мастеров Google. Это поможет вам быстро обнаружить и устранить ошибки, а также внести в robots.txt необходимые изменения.

    Копирайтер агентства «Текстерра». Пишу статьи, ищу интересную информацию и предлагаю способы ее практического использования. Верю, что благодаря качественному интернет-маркетингу покупатели приходят к продавцам, а не наоборот. Согласны? Тогда давайте дружить на Facebook .

    «TexTerra». при полном или частичном копировании материала ссылка на первоисточник обязательна.

    Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите ctrl + enter.

    Источник: http://texterra.ru/blog/kak-ispolzovat-fayl-robots-txt.html

    Все о файле «robots.txt» по-русски — как составить robots.txt

    Файл robots.txt

    Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.

    Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

    Создание robots.txt

    Чтобы создать файл robots.txt. нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.

    Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса. так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву Host. которую соблюдает этот поисковик.

    Описание robots.txt

    Чтобы правильно написать robots.txt. предлагаем вам изучить разделы этого сайта. Здесь собрана самая полезная информация о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.

    • Как работать с robots.txt — узнайте, что вы можете сделать, чтобы управлять роботами, которые посещают ваш веб-сайт.
    • Роботы Рунета — разделы по роботам поисковых систем, популярных на просторах Рунета.
    • Частые ошибки в robots.txt — список наиболее частых ошибок, допускаемых при написании файла robots.txt.
    • ЧаВо по веб-роботам — часто задаваемые вопросы о роботах от пользователей, авторов и разработчиков.
    • Ссылки по теме — аналог оригинального раздела «WWW Robots Related Sites», но дополненый и расширенный, в основном по русскоязычной тематике.

    Инфографика

    О сайте

    Этот сайт — некоммерческий проект. Значительная часть материалов — это переводы www.robotstxt.org. другая часть — оригинальные статьи. Мы не хотим ограничиваться только robots.txt, поэтому в некоторых статьях описаны альтернативные методы «ограничения» роботов.

    Источник: http://robotstxt.org.ru/

    Источники: http://pgdv.ru/samostoyatelno/robots-txt/, http://texterra.ru/blog/kak-ispolzovat-fayl-robots-txt.html, http://robotstxt.org.ru/




    Комментариев пока нет!

    Поделитесь своим мнением




  • Статьи по теме