Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
Файл robots.txt
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы robots.txt
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
- * - обозначает любое кол-во символов, а так же их отсутствие;
- $ - обозначает, что символ стоящий перед знаком доллара, последний;
- # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
Файл sitemap.xml
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.
(Последнее обновление: 17.02.2019)
Привет, коллеги! В этом посте я расскажу вам как создать и настроить Sitemap (карта сайта) для WordPress , для поисковых систем таких как Яндекс, Google, Bing, Поиск@Mail.Ru. Не нужно путать XML с HTML. Первый подходит для поисковиков, а второй предназначен преимущественно для пользователей. Что представляет из себя карта сайта XML вы наверное уже знаете. Напомню : это список страниц вашего сайта/блога, который не видят ваши посетители, а хорошо видна только . XML файл Sitemap позволяет сообщить Google и Yandex о страницах вашего сайта, чтобы они гарантированно попали в индекс поисковых систем.
Плагин Google XML Sitemaps для WordPress
XML Sitemaps может помочь поисковикам определить местонахождение страниц сайта, блога, время их последнего обновления, частоту обновления и важность относительно других страниц веб-ресурса для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Что такое Sitemap?
Sitemap - XML-файлы с информацией для поисковых систем (таких как Google, Яндекс, Bing, Поиск@Mail.Ru) о страницах веб-сайта, которые подлежат индексации. Проще говоря, это URL-адреса сайта, отправляемые вами поисковикам.
Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.
Создать карту блога или сайта на WordPress нам поможет плагин Google XML Sitemaps . Который генерирует XML файл, обновляет его и так далее. Вам достаточно плагин , настроить его и можно о нём забыть. Установка Google XML Sitemaps стандартная.
Плагин Google XML Sitemaps Вордпресс
Один из лучших плагинов WP. Он будет предоставлять полную XML-карту сайта для поисковых систем. Его установили уже более 24 243 146 раз.
Плагин Google XML Sitemaps
Используйте этот плагин, он значительно улучшит SEO. Он создаст специальную XML-карту сайта и поможет таким поисковым системам, как Google, Bing, Яндекс и Мейл ру лучше индексировать ваш веб - ресурс. С такой картой сайта сканерам намного проще увидеть полную структуру вашего сайта и извлечь ее более эффективно. Плагин поддерживает все виды страниц, сгенерированных WordPress, а также пользовательские URL.
Кроме того, он уведомляет все основные поисковые системы каждый раз, когда вы создаете сообщение о новом контенте. Модуль совершенно бесплатен и переведён на русский язык (правда не полностью, но самое важное переведено).
Установите плагин обычным способом, используя функцию Плагины - Добавить новый. В поле поиска введите его название Google XML Sitemaps:
Установка плагина из админ панели
Настройка XML Sitemaps
После успешной установки и активации плагина, его нужно настроить. В разделе "Настройки" нажмите на :
Настройки xml sitemap
Откроется страница: Генератор XML-карты сайта для WordPress, где вам нужно её настроить. На этой странице, в самом вверху, вы увидите ссылку на вашу карту:
Ссылка на xml карту вашего сайта
Вы можете на неё нажать и посмотреть как она родная выглядит:
XML-карта сайта для поисковых систем
Важные настройки на нашем родном и могучем русском языке, поэтому вам не составит ни какого труда во всем разобраться. Какие настройки можно произвести? Разработчик плагина указывает что, значения по умолчанию подходят для большинства сайтов. Но всё же, каждый пользователь должен решить сам. Указать какие категории исключить из карты, содержание карты сайта, приоритеты, частоту изменений и так далее. Примерно, вот так, должно быть:
Настройки для своего сайта карты xml
После всех настроек обязательно нажмите "Обновить параметры". Готово. Дальнейшее действие это - добавить файл Sitemap в вебмастере поисковых систем, чтобы ускорить индексирование сайта вордпресс. А также прописать ссылку на карту в robots.txt.
Итак, какие именно страницы необходимо включить в карту? По соображениям SEO рекомендуется включать лишь те страницы, которые хотелось бы видеть в поиске.
Теперь при написание статьи, плагин будет сообщать поисковым системам (не всем, а только Гугле, Bing, Yahoo и Ask.com) об обновление вашего блога. Плагин автоматически обновит вашу карту сайта, если вы опубликуете сообщение, так что больше ничего не нужно делать
Для остальных поисковых систем делать нужно вот это - читайте .
Обратите внимание, друзья, функция XML Sitemaps есть в SEO плагинах и .
Всего доброго и до новых встреч. Пока, пока!
Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.
Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.
Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org
Новичок Эксперт VIP Информация Структура XML История FAQ
Технические подробности sitemap
Теги файла sitemap.xml:
- changefreq - наиболее вероятная частота изменения контента указанного URL;
- lastmod - фактическая дата последнего обновления URL;
- loc - сам URL;
- priority - приоритетность указанной страницы по отношению к другим страницам сайта;
- url - этот тег служит родительским для указанных первых четырех тегов;
- urlset - этот тег объединяет теги первых пяти типов.
Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:
- & - амперсанд;
- " - одиночные кавычки;
- " - двойные кавычки;
- > - знак "больше";
- < - знак "меньше".
Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).
Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:
Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.
Для передачи поисковым системам нового Sitemap
используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.
История развития Sitemap
Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.
Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.
Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.
На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.
И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.
Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.
Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.
В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.
2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.
Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.
Также Вы можете приобрести готовый универсальный скрипт поиска на вашем сайте с учетом морфологии русского языка + генератор карты сайта .
.
Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.
Карта сайта в формате XML:
У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML - исключение возможности размытия статического веса страниц внутри сайта.
В этой статье я расскажу вам как составить корректный файл Sitemap.xml.
Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».
1. Директивы файла sitemap.xml
Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:
А также 3 необязательных тега:
Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html :
Атрибут | Статус | Описание |
обязательный | Инкапсулирует этот файл и указывает стандарт текущего протокола. |
|
обязательный | Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу. |
|
обязательный | Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого). Внимание: длина URL-адреса не должна превышать 2048 символов. |
|
необязательный | Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД. |
|
необязательный | Позволяет указать как часто меняется информация на странице. Это значение устанавливается приблизительно. Допустимые значения:
Если страница изменяется каждый раз, когда ее открывают - используем значение «always» (всегда). Если это архивная страница - ставьте never (никогда). Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная. |
|
необязательный | Позволяет указать приоритет одних страниц вашего сайта перед другими. Диапазон значений - от 0,0 до 1,0. По умолчанию каждой странице отдается приоритет 0,5. Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц. |
Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта – это гибкость. Гибкость заключается в сочетании разных необязательных директив.
Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.
2. Составление файла sitemap.xml
Составлять карту сайта можно 3 способами:
- Вручную;
- Автоматически, с помощью специальных сервисов;
- Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.
Процесс приготовления карты сайта следующий:
- Составляем карту сайта одним из способов, перечисленных выше;
- Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
- Размещаем файл на сайте;
- Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, );
- Указываем Sitemap в панели вебмастеров Яндекс и Google.
Итак, как составлять файл карты сайта?
Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:
Вот так должна выглядеть карта сайта в формате XML:
Приведенный выше код, указывает поисковой системе, что страница http://site.ru/
в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).
Особенно удобен функционал подсветки парных тегов.
Сервисы для генерации Sitemap
В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:
Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .
Поясню вкратце все настройки:
Поисковая система Google рекомендует использовать https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki
Плагины для CMS
Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:
Плагин |
|
Валидность
После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml
После успешной проверки заливаем наш файл на сайт.
Расположение файла
В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:
Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:
После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:
Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.
Search Console и панель Яндекс.Вебмастера
Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.
- Настройка индексирования
- Файлы Sitemap
- «Проверить» и «Добавить»
Следует отметить ограничения в XML-карте сайта:
- В одном файле можно указать не более 50000 URL-адресов
- Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
- Кодировка файла только в UTF-8
На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.
3. Группировка файлов Sitemap
В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!
Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.
Синтаксис выглядит следующим образом:
http://site.ru/sitemap1.xml.gz 2004-10-01T18:23:17+00:00 http://site.ru/sitemap2.xml.gz |
Определение XML-тегов:
Атрибут | Описание |
|
обязательный | Инкапсулирует информацию о всех файлах Sitemap в этом файле. |
|
обязательный | Инкапсулирует информацию об отдельном файле Sitemap. |
|
обязательный | Указывает местоположение файла Sitemap. |
|
необязательно | Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта. |
Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.
4. Исследование
В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.
Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).
Вот сами результаты:
Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.
5. Фишки
Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».
Картиночный сайтмап
Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.
Синтаксис для картиночной карты сайта выглядит так:
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"> http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg |
Памятка по XML-тегам:
Обязательно? | Описание |
|
Содержит всю информацию об одном изображении. Каждый URL (тег) может включать до 1000 тегов. |
||
URL изображения. В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать. |
||
Подпись к изображению. |
||
Место съемки. Например, Поронайск, о. Сахалин. |
||
Название изображения. |
||
URL лицензии изображения. |
Лайфхак для тех, кто дочитал
Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы - хорошо. Нет - а что поделать?! Новые страницы вообще забывают вносить в sitemap.
В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.
И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.
Карта сайта sitemap.xml стала очень важной деталью, необходимой для успешного продвижения сайта в поисковых системах. Также, как и , «сайтмеп.хмл» используется для правильной и быстрой индексации web-ресурса поисковиками, но эти два документа имеют и некоторые различия.
Создать карту Sitemap для своего сайта можно несколькими способами: используя плагины и онлайн-генераторы, а также составляя ее вручную. О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.
Прежде всего, давайте разберемся, что такое карта сайта sitemap.xml, для чего она нужна и какие виды карт бывают.
Карта Sitemap – это одна из страниц сайта, содержащая ссылки на все остальные страницы или же на самые главные разделы этого веб-ресурса. Фактически это «содержание» интернет-сайта, которое выполняет функции навигатора (для посетителей) и способствует более быстрой и лучшей индексации (в случае с поисковыми системами).
Карта Sitemap, как правило, составляется отдельно для поисковых систем и отдельно для пользователей. В первом случае карта имеет расширение «.xml» (файл Sitemap.xml), а во втором – «.html» (страница Sitemap.html). Разные форматы карты позволяют представлять информацию в удобном виде как для поисковых систем, так и для посетителей.
1.1 Карта сайта Sitemap.html (для людей)
Создается специально для посетителей и представляет собой отдельную страницу сайта. Используется для нескольких целей, основной из которых является улучшение навигации .
Карта сайта для посетителей (Sitemap.html) – карта вашего сайта, представляющая собой отдельную страницу веб-ресурса, доступную посетителям и поисковым системам. Основное назначение такого документа – улучшение навигации сайта.
Sitemap» и расширение «. html», она может быть названа как угодно. Главное, чтобы такая карта являлась страницей сайта.
При создании карты сайта для посетителей (sitemap.html)следует обратить внимание на ряд важных моментов.
Таким образом, основное назначение карты сайта для людей (sitemap.html) – улучшать навигацию, структуру сайта, помогая посетителям находить нужные материалы.
1.2 Карта сайта Sitemap.xml (для поисковиков)
Поисковые системы также воспринимают карту сайта для посетителей (Sitemap.html), однако лучше для них создавать отдельный документ – файл Sitemap.xml.
1.2.1 Что такое Sitemap.xml
Карта сайта Sitemap.xml – это карта вашего сайта, созданная специально для поисковых систем в особенном формате, недоступная посетителям. Она представляет собой отдельный документ, который не стоит считать страницей сайта (в индекс такая карта сайта не попадает). Основное назначение документа – улучшение индексации страниц веб-ресурса.
Карта сайта не обязательно имеет имя « Sitemap», доступно любое имя по желанию владельца сайта. Но расширение должно быть именно «. xml». Такая карта размещается, как правило, в корневом каталоге сайта (чаще всего это папка носит имя «public_html» у вашего хостинг-провайдера).
1.2.2 Ограничения и особенности
Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому . Однако при этом поисковые системы накладывают на карту сайта Sitemap. xml определенные ограничения :
- файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).
Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:
- размещать в карте сайта ссылки не на все страницы сайта, а только на категории, подкатегории и теги (ключевые слова), что позволит значительно уменьшить количество ссылок;
- создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).
И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap. xml при индексации. Дело в том, что карта сайта – это лишь рекомендация поисковым системам, как следует индексировать сайт, но отнюдь не правило!
Сжатая карта сайта будет иметь расширение не «.xml», а другое, в зависимости от типа архиватора.
- Если архиватор «zip», то формат файла «имя_карты.xml.zip».
- Если архиватор «gzip», то формат файла «имя_карты.xml.gz».
- Если архиватор «7-zip», то формат файла «имя_карты.xml.7z».
- Если архиватор «rar», то формат файла «имя_карты.xml.rar».
1.2.3 Формат файла Sitemap.xml
Для лучшего понимания работы карты сайта данного типа необходимо ознакомиться с ее форматом. Т.к. Sitemap.xml можно считать отдельным html-файлом, предназначенным для поисковиков, то и функции у него будут направлены на улучшение индексации. Структура имеет определенный вид.
1. Заголовок файла (
).
2. Группа повторяющихся блоков (
2.1 адрес страницы (
2.2 дата и время последнего обновления страницы (
2.3 «примерная» частота обновления страницы (
2.4 приоритет страницы (
Учитывая это, вы можете создать простейший вариант карты сайта вручную, используя для этих целей текстовый документ с расширением «.txt» (файл блокнота). Теги и их содержимое прописываются вручную в этот файл, а затем его расширение меняется с «.txt» на «.xml».
Теперь подробнее о каждом параметре.
Заголовок стандартный, его нужно просто скопировать и вставить в самый верх файла.
|
|
| < url> < loc> http: //сайт/ < lastmod> 2013 - 02 - 26T18: 07 : 54 + 00 : 00 < changefreq> daily < priority> 1.0 |
Каждый блок
начинается тегом
Url-адрес страницы
записывается внутри
Дата и время последнего обновления
заключаются между
Примерная частота обновления
заключается в теги
Приоритет страницы
располагается между
2. Плагины для создания карты сайта
Карта сайта для посетителей создается одним плагином, а для поисковиков – другим.
При использовании данного способа создания карты сайта нет необходимости перестраивать Sitemap при добавлении новых страниц, плагины позаботятся об этом самостоятельно. Кроме того, плагины отличаются более гибкими настройками при создании карты, нежели онлайн-генераторы. Однако каждый новый плагин нагружает сервер, что отражается на скорости загрузки страниц. Несмотря на это, нагрузка не настолько сильная, чтобы следовало избегать использования плагинов для построения Sitemap.
Поэтому способ генерации карты сайта с помощью плагинов считается наиболее простым и удобным.
2.1 Карта для посетителей (плагин DDSG )
Плагин, генерирующий карту сайта Sitemap.html, носит название Dagon Design Sitemap Generator (DDSG). Скачать его можно на . Следует отметить, что это самый популярный плагин для создания навигационной карты сайта.
Настройки плагина позволяют выбирать дизайн и отображение ссылок, входящих в карту.
Для того чтобы карта сайта начала функционировать, необходимо создать отдельную страницу, куда потребуется добавить небольшой кусочек html-кода (использовать html-редактор, а не визуальный! ).
Этот тег выведет карту сайта для посетителей, созданную плагином Dagon Design Sitemap Generator.
2.2 Карта для поисковых систем (Google XML Sitemaps)
Плагин « » генерирует карту сайта для поисковых систем, т.е. в формате Sitemap.xml (и в сжатых форматах).
Плагин позволяет выбирать, какой тип страниц включать в карту сайта (главную, статические страницы, посты и записи, метки, архивы, рубрики и т.д.), а также настраивать ряд других важных параметров (например, частоту обновления страниц и приоритет).
После того, как плагин будет настроен, его можно активировать. Карта сайта построится автоматически. Файл Sitemap.xml будет также создан автоматически, ничего устанавливать не нужно.
3. Онлайн-генераторы карты сайта Sitemap
Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При этом нет необходимости добавлять на сайт какие-либо плагины, что позволяет защитить сайт от нагрузки лишних скриптов. Но не стоит забывать, что в этом случае при добавлении новых страниц (или при удалении старых) придется опять формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт. Поэтому использование ресурсов вида «generator sitemap» считается не самым удачным решением.
3.1 Генератор Xml-Sitemaps
Очень простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:
- количество ссылок в карте может быть не более 500;
- нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);
- нет возможности указывать частоту обновления для отдельных групп страниц;
- генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).
Перейти на сайт генератора можно . Перед вами появится форма, которую нужно заполнить.
В первое окно необходимо ввести адрес главной страницы сайта .
Вторая опция – выбор «примерной» частоты обновления сайта.
Третье окно – настройка даты обновления страниц сайта (None – не использовать; Use server’s response – определить автоматически; Use this date/time – использовать текущие дату и время).
Четвертое окно – настройка приоритета страниц для поисковых систем (None – не использовать; Automatically Calculated Priority – вычислять автоматически).
Кнопка «Start» — запуск генератора .
Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка – «public_html»).
Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:
| Sitemap: http://сайт/sitemap.xml |
Sitemap: http://сайт/sitemap.xml
http:// blog- craft. ru/ sitemap. xml – путь к карте сайта (если выбрано нестандартное имя карты, то вводить нужно выбранное имя, а не «sitemap»).
3.2 Генератор SiteMapGenerator
Перейти на сайт данного generator sitemap можно по . Этот генератор позволяет создавать до 2500 ссылок в карте сайта бесплатно, но для этого нужна регистрация. Можно генерировать карту и без регистрации, но тогда вам не будут доступны настройки создания карты.
Зарегистрировавшись, вам нужно добавить сайт, для которого создается файл Sitemap, а затем нажать на ссылку «начать обработку». После этого перед вами появится окно с настройками генерации карты Sitemap.
Здесь все аналогично предыдущему онлайн-генератору, поэтому проблем с настройкой у вас не возникнет.
После нажатия на кнопку «старт» сайт добавится в очередь заданий онлайн-генератора, и спустя некоторое время карта сайта будет создана.
Данный generator sitemap создает как карту для поисковых систем, так и карту для людей.
3.3 Генератор MySiteMapGenerator
Перейти на сайт генератора можно . В отличие от предыдущих двух сервисов данный генератор имеет больше опций (в частности – появляется возможность благодаря фильтру добавлять приоритет и частоту обновления для каждой категории страниц; при формировании карты учитываются ). Однако ограничение для бесплатного создания карты – 500 ссылок.
Заполнив несколько полей, вы сможете сгенерировать карту для своего сайта (как Sitemap.xml, так и Sitemap.html).
Когда сайт будет полностью просканирован, вы получите ссылку на сформированную Sitemap. Останется добавить ее в корневой каталог сайта (как и в случае с первым генератором).
4. Как добавить карту сайта в поисковые системы
Помимо того, что адрес карты сайта можно указать в файле Robots.txt, неплохо было бы еще добавить Sitemap.xml непосредственно в ведущие поисковые системы – Яндекс и Гугл.
Сделать это можно, перейдя в панель управления сайтами.
4.1 Добавление Sitemap.xml в Яндекс.Вебмастер
Перейти в панель управления сайтами можно по . Если вы не зарегистрированы, то сначала вам придется пройти данную процедуру, затем добавить сайт (для которого и создавалась карта сайта) и подтвердить права владения им. После этого можно будет переходить в настройки сайта.
Сначала выберите раздел «Настройка индексирования», а затем подраздел «Файлы Sitemap». Вы увидите окно с формой добавления карт вашего сайта.
В это окно нужно добавить вашу карту сайта sitemap.xml (если она всего одна) или несколько карт сайта. Спустя некоторое время Яндекс проверит Sitemap и затем покажет результат проверки в окошке «Статус». Если все нормально с файлом, то там появится зеленая галочка с надписью «Ok».
4.2 Добавление Sitemap.xml в Google
Аналогичным образом можно добавлять файл Sitemap в Гугл. Для этого вам нужно перейти по и, если вы не зарегистрированы, проделать те же процедуры, что и в случае с Яндекс.Вебмастер.
Чтобы добавить файл карты, перейдите в раздел «Оптимизация», а затем выберите подраздел «Файлы Sitemap». Аналогичным образом необходимо добавить все ваши карты сайта в панель управления сайтами в Гугле.
Спустя некоторое время вы узнаете, каков результат. Если все будет нормально, то в графе «Проблемы» будет стоять прочерк.
Карта сайта способствует ускорению индексации сайта поисковыми системами, что положительно сказывается на посещаемости веб-ресурса. Если вы хотите, чтобы ваш сайт развивался и приносил прибыль, то обязательно сформируйте карту вашего web-сайта.