Решаем проблему индексации страниц Яндексом

Как я и обещал в прошлой своей статье, сегодня я расскажу как решить проблему индексации страниц Яндексом, а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.

Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал редизайн и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил All In Seo Pack, но как оказалось проблема была совсем не в нём. Спасибо моему другу Андрею Макарову, который заметил вот такую строчку кода у меня на страницах с постами:

<!—Robots meta -->
<meta name="robots" content="noindex,nofollow" />
<!-- /Robots meta --> 

Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex». Ну что же, пришло время штурмовать суппорт Яши своими письмами :). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.

Пишу следующее письмо:

Доброго времени суток! Я — автор блога sidash.ru.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц (я для на всякий случай передал скрины ссылок на те страницы).

На второй день приходит мне ответ:

Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса

Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал мой блог, я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице карту моего блога. Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.

Вчера я увидел новый комментарий к статье «Составь веселый гороскоп на 2011 год и выиграй 1000 долларов!», его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей Бедный Студент писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.

Подведем итоги всего того, что я написал выше. Блоггеры, перед тем как устанавливать очередной плагин, внимательно изучите его. Не ссылайтесь на говносайты – это может навредить вашему  любимому блогу.

Спасибо, что прочитали эту статью. Надеюсь она поможет Вам в решении подобных проблем.

Sidash.

Ну а я продолжаю делиться жирными ссылочками. Эта ссылка пропадет, когда появится новый пост. Жирные ссылки появляются только в новых статьях. Чтобы быть в курсе всех событий советую подписаться на мою RSS рассылку.

Постовой: Биржи вечных ссылок — наилучший способ продвижения сайтов. Раз заплати и спи спокойно!