0 Что представляет собой файл robots.txt? Опубликовано: 20.01.2014 | Рубрика: Статьи и пресс-релизы Одним из главных составляющих элементов, которые образуют комплекс внутренней оптимизации сайта, является создание и правильное написание файла robots.txt. Как отмечают специалисты, этот файл обязательно должен быть среди файлов технического обеспечения сайта. От него во многом зависит то, как будут видеть сайт поисковые системы, а значит и уровень успешности процедуры продвижения сайта. Этот файл обязательно нужно размещать в корневой папке любого сайта. Почему он так важен? Вся важность файла заключается в том, что он содержит список исключений для поисковых алгоритмов. Другими словами он отмечает, какие страницы поисковый алгоритм должен упускать и, соответственно, не индексировать их. Когда поисковая система будет проводить индексацию сайта, то сначала ее алгоритм ищет в корневой папке файл robots.txt. Открыв и прочитав его, она определяет правила и ограничения при осуществлении индексации сайта. При этом, особенностью является то, что не каждый поисковик занимается чтением этого файла и учетом правил, прописанных в нем. Структура файла состоит из двух компонентов User-agent и Disallow. В первом компоненте надо писать имя поискового робота, а во втором – путь к файлу, который нужно упустить. Facebook Twitter Google+ Telegram Vkontakte Записи по теме: Идеальный robots.txt или история о маленьком, но очень важном файле. Зачем нужен файл humans.txt и как его создать? Яндекс ударит по ссылочному спаму Особенности поведенческих факторов Продвижение корпоративного сайта Бесплатные SEO-инструменты Задачи SEO-копирайтинга и их решение Преимущества лендинг пейдж Предыдущая « Как правильно произвести оптимизацию? Следующая Bing представил поиск по протоколу HTTPS »