Как я и обещал в прошлой своей статье, сегодня я расскажу как решить проблему индексации страниц Яндексом, а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.
Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал редизайн и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил All In Seo Pack, но как оказалось проблема была совсем не в нём. Спасибо моему другу Андрею Макарову, который заметил вот такую строчку кода у меня на страницах с постами:
<!—Robots meta --> <meta name="robots" content="noindex,nofollow" /> <!-- /Robots meta -->
Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex». Ну что же, пришло время штурмовать суппорт Яши своими письмами :). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.
Пишу следующее письмо:
Доброго времени суток! Я — автор блога sidash.ru.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц (я для на всякий случай передал скрины ссылок на те страницы).
На второй день приходит мне ответ:
Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса
Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал мой блог, я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице карту моего блога. Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.
Вчера я увидел новый комментарий к статье «Составь веселый гороскоп на 2011 год и выиграй 1000 долларов!», его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей Бедный Студент писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.
Подведем итоги всего того, что я написал выше. Блоггеры, перед тем как устанавливать очередной плагин, внимательно изучите его. Не ссылайтесь на говносайты – это может навредить вашему любимому блогу.
Спасибо, что прочитали эту статью. Надеюсь она поможет Вам в решении подобных проблем.
Ну а я продолжаю делиться жирными ссылочками. Эта ссылка пропадет, когда появится новый пост. Жирные ссылки появляются только в новых статьях. Чтобы быть в курсе всех событий советую подписаться на мою RSS рассылку.
Постовой: Биржи вечных ссылок — наилучший способ продвижения сайтов. Раз заплати и спи спокойно!
блин…действительно надо следить теперь за ссылками…
Мне теперь страшно стало, эту статью в рубрику «Ужасы SEO» перенеси
не бойся — со многими блоггерами такое бывает)
а за ссылками и вправду надо следить.
Кстати чтобы страницы лучше индексировались советую заказать качественный прогон по соц. закладкам! Новые статьи быстрее будут попадать в индекс, яндекс все страницы сайта проиндексируются ПС, а также немного увеличится траст сайта)
я вообще стараюсь как можно меньше ссылок ставить и в отличии от некоторых ни одного постового не продал с сайта) Ты кстати по сколько продаёшь? И выгодно при тиц 0?!
Михаил, у меня блог прогнали уже по соцзакладкам. да и статьи все я анонсирую постоянно во все закладки, в которых я зареген
я пока не продаю, а обмениваюсь с ссылками с СДЛ.
сейчас кстати хочу создать страницу, в которой напишу про обмен.
Привет! У меня тоже на одном блоге вылетело около 300 страниц из индекса. Правда, он у меня на блогуне и на сапе. Может тоже из-за ссылок, хотя проверяю, чтобы не было адалт-сайтов.
А насчет обмена ссылками тоже думала, идея хорошая
привет!)да скорее всего из-за этого и вылетели.
Дмитрий, а напиши как-нибудь о пользе прогона по закладкам. Так, для общего развития…
если честно, то польза от этого небольшая.
а вот как влияет на то, что Вы будете публиковать постоянно свои статьи в этих соцзакладках (точнее делать их анонсы) я написал здесь
http://sidash.ru/sotsialnye-knopki-istochnik-35-trafika-vashego-bloga/
Сейчас 38 страниц уже в индексе. Дело сдвинулось?
Кстати, еще можно купить пару жирных ссылок, на индексации должно сказаться очень хорошо.
нет пока, это те страницы, которые были созданы после удаления плагина. ожидаю в следующий АП все страницы вернуть.
а насчет жирных ссылок — спасибо большое за совет — обязательно прислушаюсь
Было дело когда я в robots.txt (случайно
) запретил индексацию и все страницы выпали, после того как поправил, стал добавлять страницы черед аддурилку и ограничения на число страниц у меня не было, было у меня на тот момент 30 постов, все 30 за раз и добавил.
Карту сайта HTML не создавал, т.к. считаю что XML хватит для индексации. Прогон по соцзакладкам раньше мог принести ТИЦ, а теперь только для быстрой индексации, т.к. при быстром наполнении контентом поисковые роботы там просто «живут».
Ситуация лишний раз доказывает, что лишние плагины лучше не ставить. Вначале есть искушение наставить всего и побольше, но со временем это проходит, когда проблемы начинают аукаться одна за другой =) Пост поучителен вдвойне:
Мораль №1: Не ставьте то, без чего можно обойтись
Мораль №2: Если возникла такая проблема, вот решение )
Strikestar, robots.txt у меня , слава Богу, настроен верно. хотя у некоторых блоггеров и с этим бывали проблемы
Copyrider, я в последнее время вообще удалил все ненужные плагины — было около 29 стало 17-18. первое время, когда я только разбирался с блогом, плагины были как наркотик — хочется ставить все новые и новые
Просто надо все сомнительные ссылки сразу в nofollow убирать и проблем со ссылками на ГС не возникнет.
*Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.*
НЕ ПОМАГАЕТ!!!
Я считаю этот способ вообще бесполезным)
Платон отвечает стандартными фразами. У меня была проблема, тоже вылетели все страницы. Долго мучился, в итоге забил на него и начал новый. Но на старом реально уника было мало, плюс продажные статьи с лиекса за копейки.
В общем это был для меня полезный опыт.
пересмотрите все свои ссылки.не ссылаетесь ли Вы на ГБ?
ГБ=ГС? Если — да, то вроде бы — нет…
да, я это имел ввиду.
Мой блог первый месяц яндекс тоже не индексировал, а я ставил какой-то плагины, что бы он комментарии не индексировал, а он мне от Яндекса весь блог закрывал, но как только удалил страницы вошли в индекс.
блин…действительно надо следить теперь за ссылками
У меня другая проблема — добавил свой сайт на Миралинкс, размещаю статьи, все хорошо, денежки идут…и в один момент одна за одной начинают вылетать из индекса Яндекс. Пока жду, ничего не предпринимаю. Может есть мнения, как этого избежать?
может перелинковкой внутренней решить эту проблему?
Реально, так и есть! надо следить за ссылками! Потихоньку размещал постовых с Ротабана, через некоторое время сайт вылетает из индекса яндекса. Начал проверять куда ведут ссылки — оказались несколько ГС, с попандерами, может из-за этого?
Спасибо, Дима, много нового и интересного! Можно 2 уточнения?
Во-первых, если сайт не теряет сейчас вес от оставленных на нем ссылок, значит можно допускать в комментах адреса сайтов, к-рые многие оставляют умышленно после нескольких дежурных слов типа «Мне понравилось»? А я как раз сделала «ген.уборку» на блоге и все удалила…
И второе: для действительно зеленых блогеров напишите пост, как проверять, проиндексирована ли страница? Я могу подсказать еще кучу тем для постов для ЗЕЛЕНЫХ блогеров. Пока что на вашем сайте — переписка грамотных ПРОДВИНУТЫХ блогеров. Это, понятно, тоже полезно. Кое-что и мы понимаем, но можно даже отдельно в рубрике писать какие-нибудь посты типа «Первые шаги». Это надо огромной армии народа, которые тыкаются в интернете с курса на курс, с вебинара на вебинар, как слепые котята.
если на странице есть внешние ссылки, она теряет вес.
в комментах ссылки не стоит открывать — появятся много спамеров.
насчет проиндексированности определенной страницы: http://microsin.ru/content/view/1011/44/
Светлана, надеюсь я найду время и буду публиковать еще статьи для начинающих блоггеров.
Спасибо большое! С удовольствием «твитнула» и «отвконтактила» ваш ответ со ссылочкой и обещанием своим друзьям по блоггерским мытарствам
Да уж. Вот я и зеленый человечек. То есть зеленый блоггер. Месяц уже долбаюсь, не знаю почему в Яндексе всего одна страница образовалась, а другие он убрал.Вроде бы еще ни одной платной ссылки в статьях не ставила. Ни на ГС, ни на ГБ, ни на еще что-либо.
@Ирина: а вы попробуйте убрать всю рекламу, облако меток с сайта. посмотрите что получится;)
@sidash: Да облако меток я совсем недавно влепила, когда уже в яндексе осталась одна страничка. А рекламу не прибавляла. Какую изначально навешала, та и висит.
В сентябре поменяла тему на журнальную. На главной вывелись все посты, а проследний аж три раза повторялся. Может быть из-за этого. Сейчас тему сменила, а ситуация не улучшилась. Отправила им робот и сайтмап.
Использую хтмл картогенератор, в него список ссылок и список анкоров, генерит карту, заливаю её на народ и все ссылки без исключения влазят в индекс.
Так же можно отдельные страницы добавит ьв адерилку и добавлять записи с ссылками Я.блог
Эксперементируйте
С этим яндексом просто беда! Не могу найти связи. Выпали все страницы. На сайте не рекламы, не ссылок, никаких заказных статей. Короче — ??????
Да такое легко найти сразу — открываете исходный код страницы — правка найти noindex и смотрите есть ли такой тег и где он стоит вот и все
Поучительная статья. Как просто можно самому закрыть от индекса все свои посты. Про то, что в аддурилку можно добавлять отдельные страницы — это не ново. А вот, что за сутки можно добавить не более 10 — это ново.
Спасибо за статью! У меня такой вопрос: сколько должно быть статей на новом блоге, чтобы он стал видимым в поиске яндекса?
На такой вопрос вам никто не даст точного ответа, чем больше тем лучше, при условии правильного применения ключевых слов и что бы конечно не было плагиата, а свое собственное содержание поста или блога
@Александр: Про плагиат, конечно, понятно, но всё же я правильно предполагал, что должны быть у яндекса какие-либо правила в отношении новых блогов. Нашёл где-то информацию, что статей должно быть не менее 20. Если их более 30 и в поиске яндекса блог нельзя найти по конкретным предложениям из статей размещённых в блоге, то нужно писать в службу поддержки яндекса, чтобы исправили ситуацию вручную. Спасибо за Ваш блог, весьма полезен!
@Андрей: да может быть и 1 страница. это уж ток Яша знает
У меня сначала плохо индексировались старые страницы, т.е. постепенно выпадали из индекса. Новые индексировались в течение 3 часов после твита статьи. Я написал в службу поддержки яндекса, мне сказали, что санкций на мои страницы не наложены и они будут переданы и учтены при построении новых алгоритмов поиска яндексом. И на самом деле через некоторое время все старые страницы проиндексировались. Но появилась новая — не индексируются новые посты уже 2 недели даже после твита, забивки по соц. закладкам. Сейчас думаю,что зря написал впервый раз!
Большое Спасибо за статью. У меня уже месяц не индексирует. Буду разбираться, благодаря Вашим рекомендациям
Яндекс сразу не взлюбил сайт отправив под фильтр. Контент уникальный. Ссылки не продавал и не покупал. Гугл сразу проиндексировал. Платону писал несколько раз и ответ получал стандартный: Решение об исключении страниц сайта из поиска принимается
алгоритмами в результате анализа совокупности многих факторов,
поэтому мы не можем указать конкретных причин.
Продолжайте развивать свой проект для пользователей, и, когда
алгоритмы сочтут Ваш сайт достаточно качественным……….
@Икар(это прозвище): историю домена проверяли?