Фреймы появились в середине 1990-х годов как популярный способ реализации простых систем навигации. К сожалению, как удобство пользования (в 99% случаев), так и оптимизация фреймов под поисковые системы (в 99,99% случаев) были исключительно низкими. Сегодня плавающие фреймы и CSS могут вполне заменить потребность во фреймах (когда такая функциональность сайту требуется).
Самой большой проблемой с фреймами и плавающими фреймами для поисковых движков является то, что они часто держат контент с двух или более URL-адресов на одной странице. Поисковые движки, которые направляют пользователя только на один URL-адрес, могут быть сбиты с толку и направить посетителя на одиночные (потерянные) страницы внутри сайта (предназначенного для показа сразу нескольких URL-адресов). Кроме того, поскольку поисковые движки используют ссылки, а страницы фреймов часто меняют контент для пользователей без изменения URL-адресов, то внешние ссылки нередко указывают на неправильные URL-адреса (это получается непреднамеренно). Как следствие, ссылки на страницу (содержащую фрейм или плавающий фрейм) могут и не указывать на тот контент, на который они должны были указать. Показана страница, иллюстрирующая то, как множество страниц комбинируется в единый URL-адрес с фреймами, что приводит к распылению ссылок и проблемам у пауков.
Оптимизация навигации под поисковые системы
Несмотря на то, что пауки поисковых движков с течением времени становятся все более совершенными, их основы и цели остаются прежними — пауки находят веб-страницы по ссылкам и записывают контент найденных ими страниц в индекс поискового движка (это гигантский репозиторий данных о веб-сайтах и страницах).
Кроме необходимости избегать описанных ранее технологий, для разработки оптимизированной под поисковые системы навигации можно дать некоторые дополнительные указания. Рассмотрим их.
Реализуйте структуру навигации на основе текстовых ссылок — если вы решили создать навигацию при помощи Flash, JavaScript или других технологий (которые пауки, возможно, не сумеют прочитать), то не забудьте предоставить альтернативные текстовые ссылки в виде HTML для пауков, чтобы эти автоматизированные роботы (а также и те посетители, у которых в браузере нет дополнительных модулей) могли добраться до ваших страниц.
Помните о «ловушках для пауков» — даже очень грамотно запрограммированные пауки поисковых движков могут потеряться в бесконечных петлях ссылок, которые имеются между страницами сайта. Разумно спроектированная архитектура, где отсутствуют зацикливания редиректов 301 и 302, должна свести эту проблему на нет. Однако календарные ссылки, бесконечное разбиение на страницы, а также огромное количество способов, которыми можно получить доступ к контенту, — все это создает десятки тысяч страниц для пауков поисковых движков (в то время как вы хотели иметь только несколько десятков страниц контента). Вы можете прочитать более подробно о точке зрения компании Google на эту проблему по адресу googlewebmastercentral.blogspot.com/2008/08/to-infinity-and-beyond-no.html (bit.ly/infinity_and_beyond).
Следите за идентификаторами сеансов и cookie-файлами — если вы ограничите способность пользователя просматривать страницы или делать редиректы (при помощи cookie-файлов или идентификаторов сеанса), то поисковые движки, возможно, не смогут просмотреть ваш контент. Роботы не используют cookie-файлы, они не работают также и с идентификаторами сеансов (каждый визит паука получает URL-адрес с другим идентификатором сеанса, и поисковый движок видит такие URL-адреса как разные). Несмотря на то, что имеет смысл ограничивать предоставление форм (поскольку пауки не могут заполнять формы), ограничение доступа к контенту при помощи cookie-файлов и идентификаторов сеансов — это плохая идея.
Сервер, хостинг и проблемы с IP-адресами — проблемы с сервером редко вызывают трудности с ранжированием поисковыми движками, но когда это происходит, то последствия могут быть весьма серьезными. Движки поиска знают о том, что у серверов бывают стандартные проблемы (такие как выключение или перегрузка), и они будут истолковывать имеющиеся у них сомнения в вашу пользу (хотя ваш контент, конечно же, не сможет быть просмотрен при неработающем сервере). С другой стороны, размещенные в сетях Content Delivery Networks (CDN) сайты могут просматриваться гораздо интенсивнее, и CDN обеспечивает сайту значительное повышение производительности.
В некоторых случаях источником проблем может быть IP-адрес вашего хоста. Если этот IP-адрес когда-то принадлежал спамерскому сайту, то поисковые движки могут хранить о нем отрицательные воспоминания, которые плохо повлияют на работу пауков и ранжирование. Поисковые движки не особенно привередливы в отношении совместного хостинга или серверных платформ, но вам следует быть осторожными и найти такого хостера, которому вы доверяете, а также проверить «чистоту» присвоенного вам IP-адреса. Поисковые движки стали проявлять некоторую «паранойю» относительно определенных доменов, хостинговых проблем, IP-адресов и блоков IP-адресов. Опыт подсказывает движкам, что многие из этих объектов имеют сильную связь со спамом, поэтому удаление их из индекса может дать пользователям большую пользу. Вы (как владелец сайта, который такими вещами не занимается) должны исследовать своего веб-хостера заранее (чтобы избежать проблем). Подробнее о проблемах с серверами и хостингом рассказано в разделе «Определение текущей статистики сервера и получение доступа».
