Поисковые движки используют ссылки, расположенные на веб-страницах, чтобы найти другие веб-страницы и веб-сайты. По этой причине разработчикам веб-сайтов следует потратить время и построить такую структуру внутренних ссылок, по которой легко сможет проползти паук. Многие сайты делают критическую ошибку — они прячут или затемняют свою навигацию такими способами, которые затрудняют работу пауков, тем самым не позволяя им включать эти страницы в индексы движков поиска.
При индексировании AJAX-сайта робот Яндекса сканирует оригинальные URL-адреса и исполняет JavaScript-код на них. Чтобы проверить настройки индексирования и состояние страниц в поиске, используйте Рендеринг JavaScript.
Если раньше вы использовали для указания на HTML-версию AJAX-страниц метатег meta name="fragment" content="!", робот проигнорирует его и проиндексирует оригинальную страницу.
Паук движка Google достиг страницы А и видит ссылки на страницы Б и Д. Однако, несмотря на то, что страницы В и Г могут быть весьма важными, у паука нет способа добраться до них (и даже узнать о том, что они существуют), поскольку на эти страницы не указывает ни одна прямая ссылка, по которой можно было бы проползти. Таким образом, для Google страницы В и Г не существуют вовсе. Отличный контент, хорошее целевое использование ключевых слов и умный маркетинг совершенно не имеют значения, если паук не может даже добраться до этих страниц.
Чтобы напомнить вам обсуждение, мы приведем основные причины того, почему страницы могут быть недосягаемыми.
Ссылки в виде форм — поисковые пауки не будут даже пытаться заполнять формы, поэтому весь контент (или ссылки), который доступен только через форму, для пауков оказывается невидимым. Это справедливо даже по отношению к простым формам (таким как регистрация пользователей, поля поиска, некоторые типы выпадающих списков).
Ссылки в трудно поддающемся разбору JavaScript-коде — если вы используете для ссылок JavaScript-код, то увидите, что поисковые движки либо не просматривают встроенные в них ссылки, либо дают этим ссылкам очень маленький вес.
В июне 2014 г. компания Google анонсировала расширенный обход JavaScript и CSS (bit.ly/webjpages_understanding). Теперь Google может выполнять рендеринг некоторых JavaScript-сценариев и следовать по некоторым JavaScript-ссылкам. Благодаря этому изменению, Google теперь не рекомендует блокировать доступ паука к JavaScript и CSS, как это было раньше. Чтобы узнать, как паук Google видит ваш сайт, перейдите в Search Console и выберите пункт Crawl | Fetch as Google (Сканирование | Просмотр как Google), а затем введите URL-адрес своего сайта и выберите команду Fetch and Render (Просмотреть и визуализировать).
Ссылки внутри Java и других дополнительных модулей — встроенные в Java и дополнительные модули ссылки поисковым движкам невидимы.
Ссылки внутри Flash-контента — поисковые движки делают успехи в области обнаружения ссылок внутри Flash, но не слишком надейтесь на это.
Ссылки в файлах PowerPoint и PDF — файлы PowerPoint и PDF ничем не отличаются от Flash, Java и дополнительных модулей. Поисковые движки иногда сообщают о ссылках внутри файлов PowerPoint и PDF, но какой вес они получают, узнать нелегко.
Ссылки на страницы, блокированные при помощи метатега robots, атрибута rel=»nofollow» или файла robots.txt. Файл robots.txt представляет собой очень простое средство для предотвращения просмотра пауками страниц вашего сайта. Использование атрибута nofollow для ссылки или размещение (на содержащей ссылку странице) тега robots является указанием для поискового движка не передавать ссылочный «сок» по этой ссылке (эту концепцию мы рассмотрим далее, в разделе «Поставка контента и управление поисковыми пауками»). Дополнительную информацию можно также найти в блоге PageRank Sculpting Мэтта Каттса (Matt Cutts) по ссылке: www.mattcutts.com/blog/pagerank-sculpting/.
Ссылки на страницах со многими сотнями или тысячами ссылок — компания Google предложила использовать не более 100 ссылок на страницу, поскольку паук может прекратить просмотр остальных ссылок этой страницы. И хоть эта рекомендация со временем ослабла, тем не менее, имейте ее в виду как стратегически важную рекомендацию, влияющую на ранжирование. То есть, если страница имеет 200 ссылок, нет уверенности, что все они будут в ранжировании учтены. Так что число ссылок на странице лучше все же ограничивать. Утилиты вроде Screaming Frog (www.screamingfrog.co.uk/seo-spider/) помогут вам подсчитать количество исходящих ссылок для каждой страницы сайта.
Ссылки во фреймах и плавающих фреймах — технически ссылки во фреймах и плавающих фреймах просмотреть можно, но они представляют собой структурные проблемы для движков поиска. Если вы не являетесь квалифицированным пользователем, который хорошо понимает, как поисковые движки индексируют и двигаются по ссылкам во фреймах, то лучше не использовать их в качестве места размещения ссылок для просмотра. Мы обсудим фреймы более подробно далее, в разделе «Создание оптимальной информационной архитектуры».
Содержание
Использование Метатега
Если раньше вы сообщали роботу Яндекса об HTML-версии страницы с помощью параметра #!, рекомендуем отказаться от этого способа:
- В файле Sitemap измените структуру ссылок — чтобы они не содержали символ
#. - Если в ссылках на AJAX-страницах используется символ
#, измените адреса на URL без этого символа. Например, с помощью History API.Подробно о History API - Для сохранения важных для состояния сайта в поиске показателей настройте 301 редирект со старых страниц на новые. Например, для страницы
http://www.example.com/?_escaped_fragment_=blogредирект будет вести наhttp://www.example.com/blog. Для удобства пользователей поиска настройте также редирект со страницы видаhttp://www.example.com/#!blogнаhttp://www.example.com/blog.
Чтобы робот быстрее узнал о страницах вашего сайта, отправьте на переобход HTML-версии страниц в формате http://www.example.com/?_escaped_fragment_=blog. Когда HTML-страницы появятся в результатах поиска, ссылки будут перенаправлять пользователей на AJAX-страницы сайта.
Виды доступных основных ссылок
- Классические теги
<a href="...">(абсолютные и относительные): Стандартные ссылки, содержащие корректный URL-адрес в атрибутеhref. Именно по ним идет переход на новые страницы сайта. [1] - Ссылки из XML-карты сайта (
sitemap.xml): Специальный файл, который явно указывает поисковому роботу список всех важных страниц ресурса и структуру их взаимосвязей. - Канонические ссылки (
<link rel="canonical" ...>): Указывают роботу на приоритетную (основную) версию страницы, помогая избегать дублей. - Ссылки в AJAX/JS с поддержкой истории или SSR (Server-Side Rendering): Ссылки, обработанные на сервере и переданные в готовом HTML-виде. Современные роботы (например, от Google) умеют исполнять JavaScript, но статический HTML считывается быстрее и надежнее.
Что мешает поисковым роботам видеть и использовать ссылки
- Тег
<a>без атрибутаhrefили с пустым значением (href="#",href="javascript:void(0)") — паук не сможет перейти по такой ссылке. - Закрытие в
robots.txt— если путь заблокирован директивойDisallow, паук может не пойти по ссылке. - Атрибут
rel="nofollow"— указывает поисковой системе, что ссылка не должна передавать вес (хотя сам переход робот технически совершить может). - Сложные JS-сценарии без рендеринга на сервере — ссылки, генерируемые исключительно через клиентские скрипты без тега
<a>, часто пропускаются простыми краулерами.
