Из этой статьи вы узнаете, как создать файл Sitemap и предоставить к нему доступ роботам Google.

Создание и отправка файлов Sitemap

Форматы файлов Sitemap

Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол . Google в настоящее время не учитывает атрибут В файлах Sitemap.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap , перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.

Пример URL, в котором содержится символ, не относящийся к кодировке ASCII (ü), а также символ, требующий экранирования (&):
http://www.example.com/ümlat.html&q=name
Тот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
http://www.example.com/%FCmlat.html&q=name
Тот же URL в кодировке UTF-8 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
Тот же URL с экранированной последовательностью вместо символа амперсанда:
http://www.example.com/%C3%BCmlat.html&q=name

Как сделать файл Sitemap доступным для Google

Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, вам необходимо сообщить нам о том, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

Предоставить роботам Google доступ к файлу Sitemap можно несколькими способами:

• Отправьте его в Google с помощью специального инструмента в Search Console
• Вставьте в любом месте файла robots.txt строку, указывающую на расположение файла Sitemap:
  Sitemap: http://example.com/sitemap_location.xml
• Воспользуйтесь запросом ping. Отправьте HTTP-запрос GET:
  http://www.google.com/ping?sitemap=<polniy_url_faila_sitemap >
  Пример:
  http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.

Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.

Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org

Новичок Эксперт VIP Информация Структура XML История FAQ

Технические подробности sitemap

Теги файла sitemap.xml:

• changefreq - наиболее вероятная частота изменения контента указанного URL;
• lastmod - фактическая дата последнего обновления URL;
• loc - сам URL;
• priority - приоритетность указанной страницы по отношению к другим страницам сайта;
• url - этот тег служит родительским для указанных первых четырех тегов;
• urlset - этот тег объединяет теги первых пяти типов.

Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:

• & - амперсанд;
• " - одиночные кавычки;
• " - двойные кавычки;
• > - знак "больше";
• < - знак "меньше".

Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).

Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:

Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.

Для передачи поисковым системам нового Sitemap используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.

Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.

Также Вы можете приобрести готовый универсальный

С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.

Сделайте это за три простых шага:

Создать sitemap.xml

Лимит страниц: 1200
Цена: Бесплатно!
Подход: Профессиональный!

Основное назначение sitemap.xml указать системам для поиска, какие страницы нуждаются в индексации в первую очередь. Некоторые не знают об этой роли карты сайта, а другие просто этим пренебрегают и не придают ей какого-то особого значения. Файл, который имеет более распространенное название , считается важным инструментом, можно сказать, основным, для того, чтобы указать поисковикам, какие страницы ресурса нуждаются в обязательном индексировании, хотя сам файл посетители вашего проекта видеть не будут.

Карта сайта содержит важную информацию, которая закладывается в него, для чего используется специальный синтаксис. Здесь перечисляются страницы для поисковиков, а также указывается какова степень их важности , как часто и когда последний раз они обновлялись. Все это непонятно и не нужно ни посетителям, ни владельцу сайта. Это предназначено только для поисковых машин.

Не имея этого файла, или если он неправильно заполнен, владелец сайта рискует тем, что его ресурс может быть поврежден или сайт не сможет раскрыть все свои возможности. Страницы, которые имеют важное значение, могут не индексироваться продолжительное время, а это отражается на посещении сайта, а соответственно и на его рейтинге. Это могут подтвердить специалисты, которым известна статистика множества проектов, создатели которых пренебрегали sitemap.xml . При одном показательном и интересном исследовании были выявлены самые популярные причины, из-за которых проекты продвигаются очень медленно. Если карта сайта, которая имеет расширение xml, не соответствует нужному формату или просто отсутствует, является причиной медленного продвижения, которая находится на втором места из десяти причин после некачественного контента. Эти факты могут убедить в важности карты больше, чем простые слова.

Чтобы быть уверенным, что проект правильно проиндексирован поисковиками создать файл sitemap мало. Можно его иметь, но поисковые машины могут его не увидеть. Нужно чтобы поисковики знали о его существовании. Для этого нужно правильно его создать и выбирать именно те страницы, которые считаются наиболее важными. Для правильно поиска нужно сделать определенные настройки, которые позволят не включать в поиск весь материал, находящийся на сайте, чтобы не замедлить работу робота.

В этом может помочь инструмент . Кроме того, что этот инструмент поможет в создании карты, он будет уведомлять поисковики о появлении нового материала, тем самым как бы давая понять, что они нуждаются в скорейшей индексации. Чтобы спрятать карту от любопытных, с помощью инструмента можно даже изменить ее название.

Где находится sitemap.xml поисковикам можно указать с помощью двух способов. В директиве ничего не опуская указать полный путь к файлу.

Как добавить карту сайта XML Sitemap в поисковые системы Google and Yandex? На самом деле добавление Sitemap в Google Webmaster и Yandex Вебмастер происходит элементарно. При этом например Яндекс автоматически определяет карту сайта, если она указана в файле Robots.txt.

В этом руководстве мы рассмотрим примеры добавления карты сайта в Google Webmaster и Yandex Вебмастер. Поговорим о методах проверки и анализа Sitemap, именно через Console Google и благодаря инструментам в Яндекс вебмастере. Затронем такой важный момент, как переобход страниц Mapsite.

Содержание статьи:

Как добавить карту сайта XML Sitemap в Yandex

Как я уже оговаривал выше, по умолчанию агент поисковой системы Yandex определяют карту указанную в Robots. Через некоторое время ее можно обнаружить в Яндекс Вебмастере. Но лучше всего дополнительно добавить ее, это может помочь если вдруг Robots будет недоступен. Добавление Mapsite, позволит Вам значительно ускорить обходы контента проекта ботом Яши.

Добавляем XML Sitemap в Вебмастере Яндекс :

1. Авторизуйтесь в Яндекс Вебмастер.
2. В открывшемся окне Вы увидите в заглавии окна пустую строку, над которым написано «Добавить файл Sitemap». Введите в это поле URL Вашей карты сайта.
3. Затем нажимаем на «Добавить».

По завершению всех действий, бот поисковой системы проанализирует этот адрес. Затем через определенное время она отобразиться именно на странице где Вы ее добавили. Также будут доступны: статус карты сайта, дату обхода и общее количество ссылок в mapsite. Раздел позволит Вам, правильно анализировать индексирование, загруженного контента Вашего проекта.

Как добавить карту сайта XML Sitemap в Google

Добавление карты в Console Google также не займет у Вас много времени. Единственное отличие от Яши, Гена не отображает XMLMAPs указанную в Robots.txt. Но имеет достаточно большой перечень инструментов для работы с ней.

Добавляем XML Sitemap в Search Console :

1. Авторизуйтесь в Search Console.
2. Переходим в раздел «Сканирование».
3. Идем во вкладку «Файлы Sitemap».
4. В открывшемся окне в правом верхнем углу окна Вы увидите красную кнопку «добавление/проверка файла sitemap».
5. Нажмите на эту кнопочку, далее дописываем в поле URL-адрес карты.
6. Нажимаем на «Отправить».

Затем следует подождать некоторое время, чтобы поисковый Google Bot смог обойти этот Url. Map будет отображена на странице, где Вы ее добавляли. Нажав на нее можно будет увидеть все доступные статусы:

1. Тип карты сайта.
2. Дата обработки — последний обход ботом.
3. Проблемы — возможные ошибки.
4. Элементы — не индексированные, но загруженные.
5. Проиндексированные — те элементы которые обошел поисковый агент google.
6. Основная диаграмма — отправленные и проиндексированные файлы.
7. Ошибки Site-map.
8. Ошибки в индексе.

Добавляем карту сайта в файл Robots.txt

В прошлой статье, был подробно описан пример указания URL карты в Robots.txt. С ней можно ознакомиться ниже в рекомендациях по этой теме. Думаю те у кого уже создан Robots, не нуждаются в примере и могут пропустить эту часть статьи.

Добавление URL карты в Robots.txt :

1. Открываем Robots.txt текстовым редактором.
2. Опуститесь в основание документа.
3. Добавьте в пустой строке «Sitemap: http://site.ru/sitemap.xml» (без кавычек).
4. Сохраните документ.
5. Выгрузите его на сервер или хостинг FTP клиентом в корневую директорию основного домена.

Проверка файла Sitemap в Search Console Google

В Search Console проверить загруженную карту очень просто. Достаточно следовать простым действиям:

1. Идем во вкладку «Файлы Sitemap».
2. В правом верхнем углу окна нажмите на «Тест».
3. Далее google предложить Вам обновит страницу.
4. Затем Вы увидите результат теста.

Анализ карты сайта — инструменты Yandex Вебмастера

В Яндекс Вебмастере немного больше способов протестировать Сайтмап. Следуем следующим действиям:

1. Заходим в раздел «Инструменты».
2. Идем во вкладку «Анализ файлов Sitemap».
3. Вам будет доступна страница с большим полем и следующими способами: текст, url, файл. Самый простой способ указание URL-адреса.
4. Пишем URL в поле.
5. Нажимаем на кнопку «Проверить».
6. Смотрим результат анализа.

Переобход Sitemap в Google Webmaster и Yandex Вебмастер

Теперь давайте рассмотрим способы ее обновления. В некоторых случаях это достаточно полезная функция, особенно при глобальных изменениях в контенте проекта. Обновление Site-map дает указание поисковым ботам на повторную индексацию всего ее содержимого. Благодаря этой функции можно обновить большую часть измененной информации, именно для поисковых машин.

Переобход map в Yandex Вебмастер :

1. Открываем раздел «Индексирование».
2. Идем во вкладку «Файлы Sitemap».
3. Вы увидите надпись «Источник» — нажмите рядом на кружек в виде стрелок «отправить на переобход».

Переобход map в Search Console :

1. Открываем раздел «Сканирование».
2. Идем во вкладку «Файлы Sitemap».
3. Поставьте галочку напротив URL Вашей карты.
4. Далее нажимаем на кнопку выше «Отправить еще раз».
5. Согласитесь и обновите страницу.

Заключение

Я подробно рассказал Вам о всех тонкостях добавления, анализа и переобхода сайтмап. Таким образом можно значительно ускорить индексирование проекта поисковыми машинами. Сократить в некоторых случаях время на ожидание переобхода контента ботами, запросив принужденное сканирование.

По мимо всего прочего стоит отметить один момент. Будьте внимательны и обязательно проверяйте статусы вашей site-map. Это необходимость в целях быстрой реакции на возможные ошибки. Таким образом, можно быстро исправить возникшие неполадки и обновить сайтмап.

Я уверен эта информативная статья будет хороши пособием, как для начинающих вебмастеров и уверенных владельцев интернет проектов. Желаю Вам успехов, в начинаниях и хорошей технической оптимизации Вашим проектам.

• Читайте статьи по этой теме: