Файл robots.txt для WordPress

robot400

Очень небольшой текстовый файл robots.txt для WordPress, которые делает большие вещи. Если Вы его неправильно сделали или у Вас его нет, то он делает очень плохие вещи.

Для чего нужен файл robots txt?

На вашем сайте wordpress много папок и файлов и, когда поисковый робот приходит на сайт, он начинает везде лазить. Поисковый робот не знает, куда ему можно лезть, а куда нельзя. 
Вообще, robots.txt  имеет множество тонкостей, но основные (важные) моменты я выделил.
1) Файл robots.txt нужен, чтобы убрать путаницу с зеркалами сайта и убрать проблему дублирующегося и ненужного контента.

Что это значит?
Если файл robots.txt отсутствует,  то Ваш сайт будет иметь два зеркала (две ссылки):
http://infosovety.ru
http://www.infosovety.ru
Эти ссылки будут указывать на один и тот же сайт.
Файл robots.txt эти зеркала склеит в одно главное зеркало.

2) Также в robots txt можно разрешить или запретить индексацию основных разделов сайт wordpress. Например, запретить индексировать RSS ленту и административную панель.

3) Файл robots.txt указывает путь на карту сайта.

Важно! Склеивание происходит в течение 2-3 недель. И в этот момент может происходить переиндексация ваших страниц, которые были закружены поисковым роботом яндекса.
Не стоит этого пугаться! Это пройдёт, когда завершится полностью склеивание зеркала.

Важно! Обязательно проверьте наличие в корневой папке файла robots txt. Если ващ сайт на WordPress, то файл robots.txt должен находиться в папке publick.html., которая размещена на хостинге.

Сразу хочу предупредить, что файл robots. txt на всех сайтах выглядит по-разному. Я даю универсальный вид, который подходит для wordpress. Если Вам нужно будет файл изменить, то вы всегда сможете его дописать, когда будите в нём разбираться.

Скачать файл robots.txt для WordPress

Посмотреть мой robots.txt
Скачать robots.txt для WordPress

ВАЖНО! В данном файле нужно изменить одну вещь – прописать свой URL сайта (просто подставьте свой url)вместо  vashsait.ru. Больше ничего менять не нужно.

Для тех, у кого файл robots.txt давно установлен, рекомендую проверить его на наличие одного маленького «ПРОБЕЛА».
Внимание! Если Вы нашли этот «пробел», то удалите его!!!

Как проверить файл robots.txt на наличие пробела

Выделите весь код! Если выделились все строчки целиком, то всё хорошо. Если какая-то пустая строчка целиком не выделилась, а лишь один прозрачный символ (это и есть пробел), то удалите его клавишей delete. После чего закачайте себе на хостинг.

 Robots.txtRobots.txt2

Если вам есть, что добавить по теме “ robots txt для wordpress ”, то оставьте свой комментарий. 

С уважением, Никита Мельников!

39 thoughts on “Файл robots.txt для WordPress

      1. Нужно наверно переписать, по тому что луди придут с поисковиксов, а сдесь старый (( и уйдут, а если применят для своего, то будут дубли.

    1. Это 301 редирект. Вот пропиши этот код в файл .htaccess и будет у тебя без www

      RewriteEngine On

      RewriteCond %{HTTP_HOST} ^www.блог.ru$ [NC]

      RewriteRule ^(.*)$ http:// блог.ru /$1 [R=301,L]

  1. Кстати, а обязательно убирать функцию «ответить» к комментам? я смотрю, что Борисов советует убирать... если да, напомните,как...:)

          1. Вообще все тот же борисов обещал прислать обновленный шаблон с этими исправлениями... пока не приходит

          2. Ему просто не до вопросов, тем более таких глупых, у него хватает и без этих вопросов дел.http://infosovety.ru/wp-content/plugins/wp-monalisa/icons/wpml_unsure.gif

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *