Блог
Анны Фёдоровой Как зарабатывать в интернете и на своём блоге?

Роботс.тхт.Как создать правильный файл robots.txt

2013.12.05
Автор:

Привет дорогие читатели!

В этой статье хочу вам рассказать, как создать правильный файл robots.txt. Поверьте, ничего сложного в этом нет! Но отнеситесь к составлению файла роботс.тхт очень серьёзно.

pravilnyj-fajl-robots-txt

Многие начинающие блоггеры не понимают, не знают насколько это важно, зачем это вообще нужно и как составить robots.txt.

Я подробно не буду описывать, что это такое, этой информации в интернете куча, расскажу вкратце. Так что такое файл robots.txt— это файл, который ограничивает роботам доступ к содержимому на вашем блоге или сайте. Мой блог работает на движке вордпресс, поэтому буду писать непосредственно о файле robots.txt для wordpress.

Так вот когда вы написали  статью, происходит дублирование контента, т.е. одна и та же статья будет иметь много разных url-адресов. Она будет и в архиве, и в поиске, и в рубрике и т.д. Когда у вас на блоге есть статьи с одинаковым контентом ,это в дальнейшем приведёт к тому, что ваш интернет-ресурс попадёт под фильтр АГС. Таким образом, из индекса выпадут все страницы, ну вы поняли, что это ни есть хорошо.

Посты на вашем блоге должны быть уникальными и нигде не повторяться, именно поэтому нужно стараться защитить контент от копирования и сделать файл robots.txt. Он поможет исключить из индекса ненужные нам страницы и папки. Файл роботс тхт укажет роботам поисковых систем, какие страницы, папки индексировать, а какие нет. С этим разобрались — идём дальше.

как создать правильный файл robots txt

Как создать правильный файл robots.txt

Для начала давайте быстренько рассмотрим основные директивы:

1). User-agent

Эта директива отвечает за то, какой поисковой робот будет выполнять команды, если вы не хотите, чтобы что-то индексировалось роботом Яндекса, тогда прописываем в файле User-agent: Yandex

Но если вы хотите, чтобы ваши команды выполняли все поисковые системы, тогда это-

User-agent: *

2). Disallow— запрещает индексацию указанных папок, страниц и т.д.

В правильном файле роботс.тхт всегда должна присутствовать эта директива!

Дальше смотрим, какие файлы нужно обязательно запрещать индексировать:

/wp-login.php/

wp-register.php

/webstat/

/feed/ (в ленте RSS)

/trackback (в трэкбэках)

*/trackback (в трэкбэках)

*/feed (в ленте RSS)

*/comments (для комментариев)

/*?* (для результатов поиска)

/*? (для результатов поиска)

/category/*/*(дубли страниц в категориях)

/wp-content/

/wp-admin/

/wp-includes/

/comments (для комментариев)

Теперь из всего из этого создадим правильный файл robots.txt.Именно такой я использую на своём блоге!

User-agent:*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: sozdamblog.ru

Sitemap: http://sozdamblog.ru/sitemap.xml

После того, как мы создали роботс.тхт, его нужно сохранить в текстовом документе с названием robots.txt .Я сохраняла в блокноте. Если будете использовать приведённый выше файл, тогда просто копируйте его и поменяйте в 2-х последних строчках sozdamblog.ru на адрес вашего блога.

В последней строчке этого файла указан адрес созданной карты сайта в формате XML. Её обязательно нужно создать, если вдруг вы ещё этого не сделали, то подробно об этом я писала здесь.

Теперь этот файл нужно закинуть в корень вашего сайта на сервере. Заходим в панель управления и загружаем файл туда, где находятся папки wp-content, wp-admin и т.д.

У вас появится новый файл с названием robots.txt.

Анализ robots.txt

Теперь самое время проверить правильность составления файла роботс.тхт. Идём на сервис Яндекс Вебмастер http://webmaster.yandex.ru/.

yandex-webmaster

Регистрируемся и нажимаем настройки индексирования — анализ robots.txt.

analiz-robots-txt

Вводим адрес сайта и загрузить robots.txt с сайта и нажимаем проверить.

роботс тхт

Далее смотрите, если у вас появилось примерно такое- же окно, как на картинке, то файл роботс.тхт составлен верно.

fajl-robots-txt

Если же вы хотите посмотреть какая статья (страница) страница запрещена или разрешена индексированию, нажмите – Список URL- добавить и впишите адрес интересующей статьи. Потом проверьте разрешено ли индексирование данной страницы.

kak-sozdat-pravilnyj-robots-txt

Ну вот и всё сегодня мы решили вопрос как создать правильный  robots.txt. Если вы не согласны с тем, что это правильный файл robots.txt или есть какие-то замечания — пишите в комментариях. А вообще вы можете посмотреть этот файл любого интернет — ресурса набрав в строке браузера адрес сайта/robots.txt.

P.S.  Как вам статья? Советую получать свежие статьи на e-mail,чтобы не пропустить новую информацию.

С уважением, Анна Федорова



Комментариев: 1

  1. Роман

    Я не в курсе как правильно его составлять, поэтому поступил следующим образом. Заходил на раскрученные блоги, смотрел их роботс и примерно такой же сделал себе.

    Ответить

Оставить комментарий: