Количество трафика зависит от количества индексируемых страниц

Добрый день. В этой статье я остановлюсь на такой важной для новичков теме, как индексация страниц сайта поисковыми роботами.

Количество переходов на сайт с поисковых систем напрямую зависит от того, какое количество страниц попало в индекс поиска. Также важные позиции страниц сайта по ключевым запросам.

Однако быстро проиндексировать весь сайт поисковый робот часто не в состоянии, что негативно сказывается на качестве индексации, позициям сайта в рейтингах, переходах с поисковой системы и общей посещаемости.

Поисковому роботу отводится ограниченное время на индексацию одного сайта.

По этой причине за один заход программа может просмотреть небольшую часть представленных страниц.

поисковое продвижение сайтов

Частота захода и время, отведенное на индексацию сайта поисковой машиной, зависит от многих факторов, таких как объем и количество представленных материалов, частота их обновления.

Чем чаще происходит индексация, тем более актуальная информация о сайте доступна поисковой системе и, соответственно, актуальнее будет ссылка на сайт в результатах поиска.

Если индексация сайта происходит часто, становится легче бороться с кражей контента сайта, а сама страница передвигается на более высокие позиции, поскольку на ней будет представлена актуальная и свежая информация.

Страницы, которые изменены, но не обновлены поисковой системой, могут предоставить пользователям совсем не ту информацию.

Ведь поисковая система приведет посетителей по запросам, релевантным старому содержанию.

Это автоматически снизит уровень доверия пользователей к сайту и негативно скажется на посещаемости.

Кроме того, быстрая индексация сайта позволит проводить более эффективную оптимизацию его.

индексация страниц сайта

Изменения позиции сайта в рейтингах будут известны через более короткое время, и будет видно, какие именно изменения влияют на позицию в поиске положительно.

Какие бывают причины плохой скорости индексации сайта?

Во-первых, на скорость индексации может сильно влиять скорость загрузки страниц.

Малая скорость загрузки автоматически принуждает робота уменьшить количество индексируемых за один заход страниц, при этом чрезмерно низкая скорость загрузки может послужить поводом для отказа в индексации сайта вообще.

Кроме того, на сайт, где обновления происходят нечасто, роботу просто не требуется заходить с большей частотой.

Логика алгоритма действия робота проста — зачем надо ежедневно посещать сайт, где новая информация появляется раз в месяц?

Неуникальное наполнение также может послужить поводом для снижения уровня доверия к сайту — ведь ворованный контент не представляет интереса для посетителей сайта.

Помимо всего этого, на частоту индексации влияет количество страниц и корректность отдаваемых заголовков last-modified.

Заголовок last-modified дает роботу понять, насколько свежа страница и стоит ли загружать и анализировать ее еще раз.

В случае если этот заголовок не отдается, каждый раз роботу потребуется повторная индексация всего сайта.

Слишком сложная структура сайта также препятствует быстрой индексации, поскольку роботу затруднительно ходить по сайту со слишком большой вложенностью ссылок.

Нужно понимать, что часто индексируются лишние страницы, которые вообще не следует индексировать — такие, как страницы авторизации, различные списки и прочие служебные страницы.

способы продвижения сайта

Для того чтобы воспрепятствовать роботу переходить на эти страницы, необходимо правильно настроить файл robots.txt.

Полную инструкцию по заполнению этого файла можно найти в интернете.

К примеру, можно запретить индексировать определенные страницы сайта с помощью определения Disallow. Например, запретим индексацию страницы авторизации Disallow: /auth.

Кроме того, роботам можно помочь с помощью файла sitemap.xml, в котором указывается список страниц интернет ресурса, время, когда их последний раз обновляли, и как часто, а также уровень иерархии по отношению к остальным страницам.

Использование файла sitemap.xml позволяет роботу индексировать сперва наиболее важные и свежие страницы.

В целом, использование этих двух файлов помогает роботам использовать свои ресурсы наиболее рационально, следовательно, положительно влияют на скорость и качество индексирования сайта.

После того, как из поиска пропадут «балластные» страницы, сразу будет заметно снижение нагрузки на сервер и общее увеличение показателей по посещаемости.

С уважением, Валерий Григорьев

27.07.2015 / Поисковое продвижение (SEO)
Похожие записи

Добавить комментарий