Решаем проблему индексации страниц Яндексом

Решаем проблему индексации страниц Яндексом

Как я и обещал в прошлой своей статье, сегодня я расскажу как решить проблему индексации страниц Яндексом, а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.

Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал редизайн и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил All In Seo Pack, но как оказалось проблема была совсем не в нём. Спасибо моему другу Андрею Макарову, который заметил вот такую строчку кода у меня на страницах с постами:

<!—Robots meta -->
<meta name="robots" content="noindex,nofollow" />
<!-- /Robots meta --> 

Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex». Ну что же, пришло время штурмовать суппорт Яши своими письмами :). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.

Пишу следующее письмо:

Доброго времени суток! Я — автор блога sidash.ru.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц
(я для на всякий случай передал скрины ссылок на те страницы).

На второй день приходит мне ответ:

Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса

Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал мой блог, я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице карту моего блога. Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.

Вчера я увидел новый комментарий к статье «Составь веселый гороскоп на 2011 год и выиграй 1000 долларов!», его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей Бедный Студент писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.

Подведем итоги всего того, что я написал выше. Блоггеры, перед тем как устанавливать очередной плагин, внимательно изучите его. Не ссылайтесь на говносайты – это может навредить вашему  любимому блогу.

Спасибо, что прочитали эту статью. Надеюсь она поможет Вам в решении подобных проблем.

Sidash.

Ну а я продолжаю делиться жирными ссылочками. Эта ссылка пропадет, когда появится новый пост. Жирные ссылки появляются только в новых статьях. Чтобы быть в курсе всех событий советую подписаться на мою RSS рассылку.

Постовой: Биржи вечных ссылок — наилучший способ продвижения сайтов. Раз заплати и спи спокойно!

Понравилась статья? Поделиться с друзьями:
Комментарии: 44
  1. Russkii

    блин…действительно надо следить теперь за ссылками…
    Мне теперь страшно стало, эту статью в рубрику «Ужасы SEO» перенеси

  2. sidash (автор)

    не бойся — со многими блоггерами такое бывает)
    а за ссылками и вправду надо следить.

  3. Михаил

    Кстати чтобы страницы лучше индексировались советую заказать качественный прогон по соц. закладкам! Новые статьи быстрее будут попадать в индекс, яндекс все страницы сайта проиндексируются ПС, а также немного увеличится траст сайта)

  4. Михаил

    я вообще стараюсь как можно меньше ссылок ставить и в отличии от некоторых ни одного постового не продал с сайта) Ты кстати по сколько продаёшь? И выгодно при тиц 0?!

  5. sidash (автор)

    Михаил, у меня блог прогнали уже по соцзакладкам. да и статьи все я анонсирую постоянно во все закладки, в которых я зареген

  6. sidash (автор)

    я пока не продаю, а обмениваюсь с ссылками с СДЛ.
    сейчас кстати хочу создать страницу, в которой напишу про обмен.

  7. MotherWolf

    Привет! У меня тоже на одном блоге вылетело около 300 страниц из индекса. Правда, он у меня на блогуне и на сапе. Может тоже из-за ссылок, хотя проверяю, чтобы не было адалт-сайтов.
    А насчет обмена ссылками тоже думала, идея хорошая :)

  8. sidash

    привет!)да скорее всего из-за этого и вылетели.

  9. Пчеловод

    Дмитрий, а напиши как-нибудь о пользе прогона по закладкам. Так, для общего развития…

  10. sidash (автор)

    если честно, то польза от этого небольшая.
    а вот как влияет на то, что Вы будете публиковать постоянно свои статьи в этих соцзакладках (точнее делать их анонсы) я написал здесь
    http://sidash.ru/sotsialnye-knopki-istochnik-35-trafika-vashego-bloga/

  11. BloggerMen

    Сейчас 38 страниц уже в индексе. Дело сдвинулось? :)
    Кстати, еще можно купить пару жирных ссылок, на индексации должно сказаться очень хорошо.

  12. sidash (автор)

    нет пока, это те страницы, которые были созданы после удаления плагина. ожидаю в следующий АП все страницы вернуть.
    а насчет жирных ссылок — спасибо большое за совет — обязательно прислушаюсь

  13. Strikestar

    Было дело когда я в robots.txt (случайно :) ) запретил индексацию и все страницы выпали, после того как поправил, стал добавлять страницы черед аддурилку и ограничения на число страниц у меня не было, было у меня на тот момент 30 постов, все 30 за раз и добавил.
    Карту сайта HTML не создавал, т.к. считаю что XML хватит для индексации. Прогон по соцзакладкам раньше мог принести ТИЦ, а теперь только для быстрой индексации, т.к. при быстром наполнении контентом поисковые роботы там просто «живут».

  14. Copyrider

    Ситуация лишний раз доказывает, что лишние плагины лучше не ставить. Вначале есть искушение наставить всего и побольше, но со временем это проходит, когда проблемы начинают аукаться одна за другой =) Пост поучителен вдвойне:

    Мораль №1: Не ставьте то, без чего можно обойтись
    Мораль №2: Если возникла такая проблема, вот решение )

  15. sidash (автор)

    Strikestar, robots.txt у меня , слава Богу, настроен верно. хотя у некоторых блоггеров и с этим бывали проблемы

    Copyrider, я в последнее время вообще удалил все ненужные плагины — было около 29 стало 17-18. первое время, когда я только разбирался с блогом, плагины были как наркотик — хочется ставить все новые и новые

  16. TiamatInc

    Просто надо все сомнительные ссылки сразу в nofollow убирать и проблем со ссылками на ГС не возникнет.

  17. voleyko

    *Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.*
    НЕ ПОМАГАЕТ!!!

  18. Russkii

    Я считаю этот способ вообще бесполезным)
    Платон отвечает стандартными фразами. У меня была проблема, тоже вылетели все страницы. Долго мучился, в итоге забил на него и начал новый. Но на старом реально уника было мало, плюс продажные статьи с лиекса за копейки.
    В общем это был для меня полезный опыт.

  19. sidash (автор)

    пересмотрите все свои ссылки.не ссылаетесь ли Вы на ГБ?

  20. voleyko

    ГБ=ГС? Если — да, то вроде бы — нет…

  21. sidash (автор)

    да, я это имел ввиду.

  22. Максим

    Мой блог первый месяц яндекс тоже не индексировал, а я ставил какой-то плагины, что бы он комментарии не индексировал, а он мне от Яндекса весь блог закрывал, но как только удалил страницы вошли в индекс.

  23. kinohack

    блин…действительно надо следить теперь за ссылками

  24. Автопортал AU96.RU

    У меня другая проблема — добавил свой сайт на Миралинкс, размещаю статьи, все хорошо, денежки идут…и в один момент одна за одной начинают вылетать из индекса Яндекс. Пока жду, ничего не предпринимаю. Может есть мнения, как этого избежать?

  25. Sidash

    может перелинковкой внутренней решить эту проблему?

  26. Роман

    Реально, так и есть! надо следить за ссылками! Потихоньку размещал постовых с Ротабана, через некоторое время сайт вылетает из индекса яндекса. Начал проверять куда ведут ссылки — оказались несколько ГС, с попандерами, может из-за этого?

  27. Светлана Тизихова

    Спасибо, Дима, много нового и интересного! Можно 2 уточнения?
    Во-первых, если сайт не теряет сейчас вес от оставленных на нем ссылок, значит можно допускать в комментах адреса сайтов, к-рые многие оставляют умышленно после нескольких дежурных слов типа «Мне понравилось»? А я как раз сделала «ген.уборку» на блоге и все удалила…
    И второе: для действительно зеленых блогеров напишите пост, как проверять, проиндексирована ли страница? Я могу подсказать еще кучу тем для постов для ЗЕЛЕНЫХ блогеров. Пока что на вашем сайте — переписка грамотных ПРОДВИНУТЫХ блогеров. Это, понятно, тоже полезно. Кое-что и мы понимаем, но можно даже отдельно в рубрике писать какие-нибудь посты типа «Первые шаги». Это надо огромной армии народа, которые тыкаются в интернете с курса на курс, с вебинара на вебинар, как слепые котята.

  28. sidash (автор)

    если на странице есть внешние ссылки, она теряет вес.
    в комментах ссылки не стоит открывать — появятся много спамеров.

    насчет проиндексированности определенной страницы: http://microsin.ru/content/view/1011/44/
    Светлана, надеюсь я найду время и буду публиковать еще статьи для начинающих блоггеров.

  29. Светлана Тизихова

    Спасибо большое! С удовольствием «твитнула» и «отвконтактила» ваш ответ со ссылочкой и обещанием своим друзьям по блоггерским мытарствам :)

  30. Ирина

    Да уж. Вот я и зеленый человечек. То есть зеленый блоггер. Месяц уже долбаюсь, не знаю почему в Яндексе всего одна страница образовалась, а другие он убрал.Вроде бы еще ни одной платной ссылки в статьях не ставила. Ни на ГС, ни на ГБ, ни на еще что-либо.

  31. sidash (автор)

    @Ирина: а вы попробуйте убрать всю рекламу, облако меток с сайта. посмотрите что получится;)

  32. Ирина

    @sidash: Да облако меток я совсем недавно влепила, когда уже в яндексе осталась одна страничка. А рекламу не прибавляла. Какую изначально навешала, та и висит.
    В сентябре поменяла тему на журнальную. На главной вывелись все посты, а проследний аж три раза повторялся. Может быть из-за этого. Сейчас тему сменила, а ситуация не улучшилась. Отправила им робот и сайтмап.

  33. ftn

    Использую хтмл картогенератор, в него список ссылок и список анкоров, генерит карту, заливаю её на народ и все ссылки без исключения влазят в индекс.
    Так же можно отдельные страницы добавит ьв адерилку и добавлять записи с ссылками Я.блог
    Эксперементируйте

  34. Алексей

    С этим яндексом просто беда! Не могу найти связи. Выпали все страницы. На сайте не рекламы, не ссылок, никаких заказных статей. Короче — ??????

  35. Александр

    Да такое легко найти сразу — открываете исходный код страницы — правка найти noindex и смотрите есть ли такой тег и где он стоит вот и все

  36. 3natok

    Поучительная статья. Как просто можно самому закрыть от индекса все свои посты. Про то, что в аддурилку можно добавлять отдельные страницы — это не ново. А вот, что за сутки можно добавить не более 10 — это ново.

  37. Андрей

    Спасибо за статью! У меня такой вопрос: сколько должно быть статей на новом блоге, чтобы он стал видимым в поиске яндекса?

  38. Александр

    На такой вопрос вам никто не даст точного ответа, чем больше тем лучше, при условии правильного применения ключевых слов и что бы конечно не было плагиата, а свое собственное содержание поста или блога

  39. Андрей

    @Александр: Про плагиат, конечно, понятно, но всё же я правильно предполагал, что должны быть у яндекса какие-либо правила в отношении новых блогов. Нашёл где-то информацию, что статей должно быть не менее 20. Если их более 30 и в поиске яндекса блог нельзя найти по конкретным предложениям из статей размещённых в блоге, то нужно писать в службу поддержки яндекса, чтобы исправили ситуацию вручную. Спасибо за Ваш блог, весьма полезен!

  40. sidash (автор)

    @Андрей: да может быть и 1 страница. это уж ток Яша знает

  41. Михаил

    У меня сначала плохо индексировались старые страницы, т.е. постепенно выпадали из индекса. Новые индексировались в течение 3 часов после твита статьи. Я написал в службу поддержки яндекса, мне сказали, что санкций на мои страницы не наложены и они будут переданы и учтены при построении новых алгоритмов поиска яндексом. И на самом деле через некоторое время все старые страницы проиндексировались. Но появилась новая — не индексируются новые посты уже 2 недели даже после твита, забивки по соц. закладкам. Сейчас думаю,что зря написал впервый раз! ;)

  42. Лариса

    Большое Спасибо за статью. У меня уже месяц не индексирует. Буду разбираться, благодаря Вашим рекомендациям

  43. Икар(это прозвище)

    Яндекс сразу не взлюбил сайт отправив под фильтр. Контент уникальный. Ссылки не продавал и не покупал. Гугл сразу проиндексировал. Платону писал несколько раз и ответ получал стандартный: Решение об исключении страниц сайта из поиска принимается
    алгоритмами в результате анализа совокупности многих факторов,
    поэтому мы не можем указать конкретных причин.
    Продолжайте развивать свой проект для пользователей, и, когда
    алгоритмы сочтут Ваш сайт достаточно качественным……….

  44. sidash (автор)

    @Икар(это прозвище): историю домена проверяли?

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: