Очень часто слышно на форумах: "в индексе только главная страница и ни одной внутренней, когда поисковики проиндексируют все мои страницы?". Зачастую проблема кроется в отсутствии карты сайта или ее неправильной структуре, а это уже потери денег если вы занимаетесь продвижением каких-либо товаров или работаете в сфере CPA-marketing. Что-бы понять что собой представляет карта сайта, в народе "сайтмап" или sitemap и какие аспекты влияют на быструю индексацию читаем статью.
Вы владеете вебсайтом? Если да, тогда найдите минуту, чтобы представить следующий сценарий: Вы загрузили свой последний набор страниц на Ваш вебсайт, и у Вас есть наконец то установлен новый поток дохода, приспособленный к Вашему выбору продуктов, способу оплаты и сотням страниц содержания, разработанного, чтобы увеличить Ваше ранжирование в поисковиках, и надеетесь, даст Вам некоторый доход с AdSense. Теперь Вы сосредотачиваете свое внимание на ссылочном строительстве и других техниках построения трафика, и довольно скоро пауки поисковых машин, обрабатывают Ваш вебсайт.
Подождите!
Вы создали карту сайта?

Да, конечно?
Но вы создали карту сайта, которая:
Нет? Это именно то что я подумал ;-)
В любом случае не стоит беспокоиться. У меня есть прекрасный план для Вас как подготовить карту сайта, которая не только гарантирует почти немедленную индексацию вебсайта и ранжирование, но и также скажу Вам, как построить карту сайту, которая выполняет новую особенность Sitemap Google и в дальнейшем улучшает индексацию поисковиками Вашего вебсайта.
Совершенная карта сайта.
Создание прекрасной карты сайта во многом походит на построение прекрасного вебсайта - Вы должны описать контекстную группировку своих страниц, иерархическую связь между Вашими страницами, и наиболее важно, чистый, краткий формат, который предоставит паукам поисковых машин сверхбыстрый проект индексации Вашего вебсайта.
Так, как Вы подойдёте к созданию прекрасной карты сайта?
Во-первых, давайте повторно рассмотрим философию за пределами карты сайта. Веб-мастера традиционно использовали карту сайта, чтобы предоставить 'справочник по всем страницам на сайте' в форме карты сайта - если бы посетитель потерялся, или захотел просмотреть Ваш вебсайт, чтобы найти информацию, которой он интересуется, он использовал бы карту сайта. Это великолепно. Фактически, карта сайта может быть очень полезной, чтобы помочь пользователям с ориентироваться на Вашем вебсайте.
Но не Ваша ли структура меню, предполагала сделать это?
Карта сайта - резервная копия - предохранитель, который активизируется, если Ваша первая линия помощи - навигационная структура Вашего вебсайта, не помогает Вашим посетителям.
Я всегда говорил, что самый важный фактор в создании успешного взаимодействия с пользователем, пользовательским опытом должен состоять в построении ошибкоустойчивой системы меню, и организовывать страницы на Вашем вебсайте логически и интуитивно так, чтобы любой мог найти то, что он ищет в только в нескольких щелчков. Если бы Вы сделали все, что нужно, Ваши пользователи действительно нуждались бы в карте сайта? Вряд ли.
С другой стороны,карта сайта может быть чрезвычайно полезной, чтобы помочь поисковым машинам проиндексировать Ваш вебсайт полностью. В типичном сценарии, когда паук поисковой машины посетит Ваш сайт впервые, он мог бы полностью проиндексировать Ваш вебсайт, но он будет смотреть только на все ссылки на Вашей главной странице. Теперь, если одна из тех ссылок указывает на Вашу карту сайта, то в следующий раз когда паук поисковой машины возвратится, чтобы просмотреть больше контента и обработать остальные ссылки, то он определенно проиндексирует Вашу карту сайта и впоследствии, получит доступ ко всем страницам Вашего сайта.
Помните... Карта сайта не гарантирует индексацию Вашего вебсайта; с другой стороны, это гарантирует, что, если Вы сделали свое SEO правильно, паук поисковой машины, более вероятно, внесет целый вебсайт в индекс вместо того, чтобы делать это частично - фактически с правильным форматом, Вы можете почти 'загипнотизировать' паука для выполнения полного сканирования. Это предполагает конечно, что паук находит Ваш вебсайт достаточно важным что бы поставить на первое место для просмотра - это то что может случиться только через постоянную кампанию строительства ссылок.
Google Sitemap
Google недавно(больше года наверно) выпустил Протокол Sitemap, который будет использоваться, чтобы 'дополнить' регулярный процесс обработки пауком GoogleBot, поисковой машины Google. В то время как технические детали генерации и поддержания Google-послушной карты сайты вовлекают в некоторую серьезную дискуссию, вот резюме того, что размещение такой карты сайта сделает для Вашего вебсайта.
Google Sitemap (GS) будет содержать обычную информацию, такую как список URL, плюс дополнительная информация об этих URL, такая как, когда они были последний раз изменены ( свежесть контента), как часто они изменяются (уровень свежести контента) и важность специфического URL в отношении к другим URL в GS. Другие признаки, или куски информации, как ожидают, будут добавлены в будущих обновлениях.
Протокол GS требует, чтобы Ваш GS был в формате XML. Это позволяет Вам хранить информацию о каждой ссылке в формате, который пауки поисковой машины могут достоверно интерпретировать и которым могут управлять. Не позвольте этому напугать себя. Я вышлю Вам видео, показывающее, как использовать специальное бесплатное программное обеспечение чтобы создать Google sitemap для Вас :-). (это видео размещено в одном из моих постов не вошедшем в курс -смотрим его здесь)
Есть другие проблемы, такие как ограничение размера карты сайта, поддержка нескольких карт сайта и размещение карты сайта на Вашем вебсайте, которые обсуждены на странице Google Sitemap. С точки зрения веб-мастера важно отметить выгоды, которые такая карта сайта могла бы иметь на поведении паука поисковой машины относительно Вашего вебсайта.
Центральная цель проекта GS состоит в том, чтобы позволить веб-мастерам говорить поисковым машинам о важности своих страниц, и о том, как часто они планируют обновлять свои вебсайты. Как всякая технология поисковой машины, она открыта для злоупотребления, но это - также сильный инструмент для новых вебсайтов который помагает с быстрой индексацией в поисковиках.
Говоря паукам поисковой машины точно, какие страницы являются самыми важными, и какие страницы больше всего будут регулярно обновляться новым содержанием, Вы можете упростить их работу и будете в конечном счете вознаграждены "более интеллектуальным" ползанием - гарантирующим, что Ваши самые важные страницы будут внесены в индекс быстро после того, как они обновлены Вами.
Как только Вы создали свой Google Sitemap (или через Google Sitemap Generator или через 'более простой' инструмент, такой как Site Map Pro) и поместили его на Ваш вебсайт, Вы можете представить свою карту сайта для Google. Эта страница не только поможет Вам управлять своей картой сайта Google, но также и покажет Вам, когда Google получает доступ к ним.
В любом случае проектируйте и создавайте карту сайта когда планируете сам сайт и структуру меню. Чем проще и интуитивнее будет все сделано тем быстрее проиндексируется ваш сайт и тем легче будет найти пользователю то что он ищет.