Как удалить sitemap из яндекс вебмастер

Что такое sitemap и как её создать

Разбираемся, что такое XML-карта сайта, зачем она нужна и как сделать sitemap.

Относительно необходимости использования sitemap спорят разработчики и SEO‑специалисты. Одни говорят: она не нужна; это рекомендация, которая не гарантирует индексацию страниц Google и Яндексом, поэтому с ней не нужно возиться. Другие считают инструмент полезным, поработав с ним и увидев плюсы.

Рассмотрим, может ли SEO‑специалист обойтись без sitemap, и если нет — как её создать.

Что такое sitemap и зачем она нужна

Sitemap — это файл, который направляет поисковые системы к страницам сайта.

По нему можно увидеть, как организован контент: список и ссылочная иерархия, альтернативные вкладки, тип контента (видео, изображения и новости), а также данные о частоте обновлений.

Как sitemap влияет на SEO

Sitemap применяется для того, чтобы поисковики быстрее замечали страницы и ранжировали их по запросам пользователей. Без заданной навигации роботы долго индексируют даже 300‑500‑страничные сайты — примерно 3–4 недели.

Карта сайта передает краулерам информацию о структуре, контенте и обновлениях, тем самым помогая ПС понять, какую страницу нужно проиндексировать, а какую — проигнорировать. Это в том числе позволяет экономить краулинговый бюджет сайта.

Когда карта сайта необходима

Sitemap — это не обязательный, а вспомогательный атрибут поисковой оптимизации. Например, вам точно не стоит тратить время на файл sitemap для сайта‑визитки на 10 страниц.

Однако бывают ситуации, когда без sitemap не обойтись:

• если ресурс многостраничный (больше 500 страниц, которые нужно проиндексировать) и/или имеет сложную структуру;
• если проект новый, и у него мало внешних ссылок;
• если вы часто вносите изменения на сайт.

В остальных случаях для индексации содержимого роботами Google достаточно применить корректные ссылки на необходимые страницы и связать их с важными разделами.

По алгоритмам Яндекса площадка также может обойтись без файла sitemap, если не имеет глубокой вложенности; большого количества страниц, которые нужно индексировать; и если страницы имеют навигационные ссылки.

Виды sitemap

XML

Универсальный формат навигации для поисковиков. Содержит список ссылок, данные об их последнем обновлении и приоритете индексирования. Как правило, XML‑карты скрыты от пользователей и видны только ПС.

Протокол XML состоит из тегов заданной разметки и использует кодировку UTF‑8. Такая кодировка позволяет компактно передавать и хранить символы, а ещё приспособлена для текстов на латинице.

В начале sitemap ставят открывающий тег , в конце закрывающий — . Область имен ограничивается . Для каждого адреса необходимо использовать в качестве родительского; дочерним для родительского будет тег . Не обязательно применять все имеющиеся метки.

Что такое Яндекс Вебмастер и как им пользоваться

Что такое Яндекс Вебмастер и зачем он нужен. Как пользоваться инструментами сервиса и как в нем работать. Как настроить, добавить новый сайт и подтвердить права: пошаговая инструкция с примерами. Как удалить страницу из панели Yandex Webmaster.

Этот гайд рассказывает, что такое Яндекс Вебмастер, как добавить свой сайт в сервис, подтвердить права на него, проверить robots.txt и добавить Sitemap, что можно увидеть в отчётах и как удалить сайт из панели.

Что такое Яндекс Вебмастер и зачем он нужен

• добавить сайт в поиск;
• проанализировать статистику поисковых запросов, по которым сайт появляется в выдаче;
• диагностировать ошибки на сайте;
• проанализировать внешние и внутренние ссылки сайта;
• проанализировать мобильную версию сайта — насколько она соответствует требованиям Яндекса.

И многое другое.

Как добавить новый сайт в сервис

Для добавления сайта в Яндекс Вебмастер перейдите на главную страницу и нажмите на жёлтую кнопку «Перейти». На открывшейся странице нажмите «Добавить сайт»:

Введите адрес сайта:

Укажите полный адрес сайта, главное зеркало. Если основной адрес начинается с www., https или http, то именно с этим префиксом и протоколом его нужно добавлять.

Если у вас есть сайт и на основном домене, и на поддомене, то каждый из них нужно добавлять отдельно.

Готово, сайт добавлен. Теперь нужно подтвердить права на него. Есть три способа это сделать:

1. С помощью HTML‑файла. Создайте в корне сайта файл с именем yandex_80d255b5ae717c74.html и добавьте в него следующий код:

1. С помощью метатега. Его нужно скопировать и вставить в HTML‑код сайта в раздел .

1. С помощью добавления TXT‑записи в DNS домена сайта. Это делается через хостинг‑провайдера ресурса.

Далее нажмите кнопку жёлтую «Проверить» — и сайт добавится на панель Вебмастера.

Предварительная настройка сервиса

Дальше нужно добавить ссылку на карту сайта, проверить файл robots.txt и настроить региональность.

Добавляем ссылку на Sitemap.xml

Sitemap.xml — это карта сайта, файл со ссылками на страницы сайта, который сообщает поисковой системе об актуальной структуре сайта. В нём содержится информация о важных страницах, которые робот должен проиндексировать.

Подробнее о том, как создать Sitemap.xml, мы рассказываем в бесплатном курсе по базовому SEO . Файл загружается в корневую папку сайта и обычно доступен по ссылке такого образца: https://site.ru/sitemap.xml. Эту ссылку и нужно загрузить в Вебмастер.

Для этого перейдите на страницу «Файлы Sitemap» в «Инструментах». Выберите сайт, для которого нужно загрузить файл, впишите в открывшееся поле ссылку, по которой доступен файл, и нажмите кнопку «Добавить».

Проверяем robots.txt

Robots.txt задаёт параметры индексирования для роботов поисковых систем. В нём можно указать, какие страницы и как робот должен обходить: что можно индексировать, а что нет.

Всё это указывается через специальные директивы. Подробнее об этом в инструкции Яндекса.

К этому файлу у Яндекса есть несколько требований:

• размер не превышает 500 КБ;
• это TXT‑файл с названием robots — robots.txt;
• файл размещен в корневом каталоге сайта;
• файл доступен для роботов: сервер, на котором размещен сайт, отвечает HTTP‑кодом со статусом 200 OK;
• файл содержит контент на латинице. Кириллица не разрешена.

Мы не будем подробно останавливаться на том, как создать robots.txt. Если вы хотите разобраться в технической оптимизации сайта с нуля, то переходите в бесплатный базовый курс от Топвизора .

Когда файл создан, перед добавлением в корневую папку сайта мы можем проверить его на ошибки в Вебмастере. Для этого откройте «Инструменты», затем «Анализ robots.txt». Введите текст из файла в поле. Нажмите «Проверить».

Если у сайта уже создан и добавлен robots.txt, то вы сразу увидите его в этом разделе и сможете посмотреть, есть в нём ошибки или нет.

Как установить регион сайта

Последний шаг предварительных настроек — региональность.

По мнению Яндекса , региональность нужна в первую очередь сайтам, которые предлагают товары и услуги в конкретном регионе, а также статейным сайтам региональной тематики. Если же у вас статейный сайт, который не ориентирован на какой‑то конкретный регион, сайт обзоров, отзывов, сайт развлечений, то привязка не обязательна.

Есть ещё несколько рекомендаций насчёт региональности. Расскажем на примерах.

1. Если у компании есть физический адрес в одном регионе, то нужно выбрать этот регион. Например, если у вас магазин, который работает только в Санкт‑Петербурге, выберите «Санкт‑Петербург».
2. Если организация находится в одном регионе, но привлекает клиентов из других регионов, можно указать регион «Россия» или «Евразия».
3. Если магазин осуществляет доставку в разные регионы, то выберите регион, который охватывает всю территорию доставки: если работаете со всей Россией, укажите «Россия».
4. Если ваша компания представлена в разных регионах, выберите регион, который охватывает все адреса представительства. Например, если у вас сетевая кофейня с точками в Москве, Казани, Ульяновске и Ставрополе, то выберите «Россия».

Ещё способ, который пригодится в случае, если работаете на несколько регионов, — разделить сайт на своеобразные региональные разделы по конкретным регионам. Это можно сделать с помощью:

• поддоменов — spb.site.ru, msk.site.ru;
• подпапок — site.ru/spb, site.ru/msk;
• Get‑параметров — подстановки разных параметров в URL;
• актуализации данных по региону пользователя без изменения URL — город пользователя подставляется, например, в заголовки, но URL при этом не изменяется;
• создания отдельных сайтов.

Вот как задать или изменить региональность в Вебмастере:

1. Перейдите на страницу «Представление в поиске» → «Региональность».

1. Нажмите значок шестерёнки в блоке «Вебмастер».

Как видите, у нас есть ещё одна возможность поменять регион — нажав на «Изменить регион» в блоке Яндекс Бизнес. Если ваш сайт добавлен в этот сервис, регион подтянется оттуда и отобразится в Вебмастере.

1. Начните вводить в поле название региона — появятся варианты, выберите из списка нужный.
2. Укажите в появившемся поле ссылку на страницу сайта, где указана контактная информация компании. С её помощью модератор проверит, правильно ли вы указали регион.

❗️Просто так указать какой угодно регион не получится. На сайте обязательно должна быть информация, подтверждающая, что вы действительно работаете в том регионе, который указываете.

1. Сохраните изменения.

Как работать с Яндекс Вебмастером

Как настроить сервис, разобрались. Разберём меню сервиса по порядку и расскажем, какие возможности предоставляет каждая вкладка.

Сводка

Сводка — общая информация о вашем сайте: какие у него есть проблемы, по каким запросам он показывается в поиске, есть ли какие‑то проблемы с индексированием.

Здесь выводится самая главная информация о сайте. Нажав на интересующий пункт сводки, вы перейдёте в соответствующий отчёт.

Качество сайта

В этой вкладке есть два отчёта: «Показатели качества» и «Отзывы».

«Показатели качества» дают несколько интересных фактов о сайте:

1. ИКС — индекс качества сайта

Индекс качества показывает, насколько сайт полезен для пользователей и решает их проблемы. Мы не знаем точно, как рассчитывается ИКС.

Вот что на этот счёт говорит сам Яндекс:

«При расчете индекса качества учитываются размер аудитории сайта, степень удовлетворенности пользователей, уровень доверия к сайту со стороны пользователей и Яндекса, а также другие критерии. Для расчета используются данные сервисов Яндекса».

1. Прогресс получения знаков

Знаки — это метки, которые присваиваются некоторым сайтам на основе какого‑то показателя. Например, «Защищённое соединение» или «Турбостраницы». Они помогают пользователям получать дополнительную информацию о сайте и ориентироваться в поиске. Яндекс выдаёт их автоматически на основе выводов, которые алгоритмы делают о сайте.

1. Сравнение с конкурентами

Здесь можно добавить конкурента для сравнения вашего прогресса по знакам и ИКС.

1. Достижения и статистика

Здесь собрана информация о том, каких успехов вы добились в продвижении: сколько у вас диагностировано проблем, сколько страниц добавлено, сколько в поиске, сколько — нет.

Здесь собраны советы Яндекса по улучшению вашего сайта. Каждый совет ведёт на какой‑то подраздел Вебмастера.

«Отзывы» показывают оценку вашего сайта пользователями. Если вы добавили сайт в Яндекс Бизнес, у вас будет возможность просматривать отзывы на него:

Отзывы можно фильтровать:

• сначала новые;
• по популярности;
• по релевантности — наиболее полезные сначала;
• сначала хорошие — оценки 4–5;
• сначала плохие — оценки 1–3.

Вы можете реагировать на отзывы из этой вкладки: смотреть, отвечать или жаловаться. Если вы отвечаете на отзыв в Вебмастере, пользователь увидит ваш ответ как официальный.

Если вы считаете, что отзыв не относится к вашему сайту или написан ошибочно, можете на него пожаловаться, нажав кнопку «Пожаловаться» под текстом отзыва. Через 5 дней, если поддержка Яндекса посчитает нужным, отзыв удалят.

Ниша сайта

Новый раздел Вебмастера доступен не всем пользователям, потому что находится в бета‑тесте. В нём есть один отчёт — «Видимость в поиске». Вот как он выглядит:

Отчёт отражает долю пользователей, которым показывался сайт по запросам в результатах поиска. Значение выражается в процентах и рассчитывается по формуле:

Возможно, новый раздел доступен и вам — если да, вы сможете перейти на него по прямой ссылке . Если нет, нужно подождать.

А как проанализировать видимость сайта в поисковых системах без экспериментального отчёта Вебмастера, мы писали в этой статье .

Диагностика

Здесь есть два раздела: «Диагностика» и «Безопасность и нарушения».

В «Диагностике» показаны проблемы сайта. Проблемы делятся на:

• фатальные — соединение с сервером, доступность сайта для индексирования, соответствие правилам Яндекса . Эти ошибки нужно исправить немедленно, потому что они могут вести к исключению отдельных страниц или всего сайта из результатов выдачи;
• критичные — наличие и корректность SSL‑сертификата, количество неработающих ссылок и время ответа сервера. Это тоже нужно исправить, такие ошибки могут вести к исключению сайта или страниц из поиска;
• возможные — корректность файлов robots.txt и sitemap, обход страниц счётчиком Метрики, настройки отображения несуществующих файлов. Эти ошибки могут влиять на качество и скорость индексирования страниц сайта — лучше всего исправить;
• рекомендации — тут речь об улучшениях представления сайта в поиске.

У нас на скриншоте открыты «Рекомендации». Нажимая на конкретную рекомендацию, вы перейдёте к проверке страниц, к которой относится карточка.

«Безопасность и нарушения». Здесь будут собраны ограничения, примененные к сайту из‑за того, что он нарушает правила Яндекса (надеемся, что у вас таких нет).

Вот какие могут быть нарушения:

• использование SEO‑текстов , бесполезных для пользователя и с обилием ключевых слов;
• платные подписки — обман пользователей с подключением платных услуг;
• МПК, некорректная реклама, спам — это несоответствие основным принципам качества Яндекса ;
• использование SEO‑ссылок , из‑за чего сайт попадает под действие «Минусинска» ;
• нежелательные программы и опасные файлы;
• опасные сайты — если сайт был заражён;
• майнинг криптовалют — если на сайте обнаруживается скрипт для майнинга криптовалют на пользовательских устройствах;
• размещение SEO‑ссылок на страницах сайта;
• дорвеи — если сайт перенаправляет на страницы другого сайта;
• запросный спам — обилие ключей или перечисление поисковых запросов;
• скрытый текст — невидимый или плохо читаемый SEO‑текст, созданный для обмана ПС;
• кликджекинг — на сайте обнаружена мошенническая техника для получения персональных данных посетителя сайта без его ведома;
• имитация действий пользователей — имитация переходов пользователей из ПС;
• содействие имитации действий пользователей — принуждение пользователей к переходам;
• партнерская программа при отсутствии собственного оригинального контента;
• фишинг — копирование популярных сайтов для кражи персональных данных (банки, интернет‑магазины, сотовые операторы);
• SMS‑мошенничество — на сайте используются схемы, которые помогают списывать деньги с телефона пользователя;
• клоакинг — когда пользователям показывается одно, а ПС — другое;
• опасный редирект — перенаправление пользователя на другой ресурс, что может быть неожиданным и неприятным;
• сходство с популярным сайто м — если сайт использует фавикон, контент, название другого ресурса.

Поисковые запросы

Здесь есть пять отчётов.

Статистика запросов позволяет следить за тем, как меняется средняя позиция сайта, и узнавать, какие запросы приводят к вам больше трафика.

Данные обновляются ежедневно. Можно выбрать период, за который смотреть запросы, а также регион и устройства.

Запросы разбиты на три вкладки:

1. Группы — здесь просто собраны запросы вашего сайта, аналитики каждого конкретного запроса нет.
2. Популярные запросы — фразы с наибольшим количеством показов, по которым сайт отображался в результатах поиска за последние три месяца (учитываются первые 3000 запросов). Есть аналитика каждого отдельного запроса.
3. Избранные запросы — запросы из группы «Избранное» — о ней чуть ниже. Есть аналитика каждого отдельного запроса.

Можно проанализировать несколько показателей — по умолчанию выводятся показы, клики, CTR. Этот инструмент позволяет посмотреть динамику средней позиции сайта, а также какие запросы больше всего приводят трафика на сайт.

Статистика страниц в поиске работает похожим образом. Только здесь оцениваются не запросы, а страницы:

Отображаются первые 3000 страниц сайта не ниже 50‑й позиции в поисковой выдаче. Можно, как и в предыдущем инструменте, выбрать показатель, можно посмотреть, какие страницы собирают больше всего трафика в конкретном регионе, можно посмотреть информацию по мобильной и десктопной выдаче.

Управление группами. Об этом инструменте Яндекс пишет , что он помогает:

• узнавать, по каким запросам страницы сайта отображаются в поиске и какие страницы сайта отображаются по этим запросам;
• видеть краткую статистику состояния сайта в поисковой выдаче;
• добавлять собственные поисковые запросы в Вебмастер;
• отслеживать краткую статистику по поисковым запросам;
• формировать группы запросов, чтобы получать детальную информацию на странице «Статистика поисковых запросов».

Можно посмотреть информацию по показам, кликам, позиции в поиске и CTR.

По умолчанию доступно 3 группы запросов:

• все запросы;
• загруженные — такие, которые вы добавили вручную с помощью текста или TXT‑файла. Загрузить можно до 10 000 запросов для одного сайта;
• избранные.

Ещё можно создать собственную группу запросов для отслеживания — на нашем примере это «Top 3», «Top 10», «Top 50», «Позиции сайта», «Позиции по URL», «Journal» и «Анализ конкурентов».

Запросы можно фильтровать, чтобы удобнее просматривать информацию. Чтобы это сделать:

1. Нажмите «Добавить фильтр» в верху экрана.
2. Выберите фильтр URL в выпадающем списке и значение «содержит». Затем введите в поле часть URL (например, /category/).
3. Нажмите кнопку «Фильтровать».

Тренды показывают сравнение поискового трафика вашего сайта и похожих сайтов:

Яндекс подбирает похожие сайты на основе их тематики. Чтобы посмотреть отчёт по трендам, выберите тематику своего сайта и период, за который нужно посмотреть информацию.

Отчёт имеет всего 2 показателя: среднее количество кликов вашего сайта и сайта‑конкурента. Зелёным будет показан график для вашего сайта, жёлтым — другие сайты похожей тематики.

С помощью этого инструмента можно узнать, что влияет на снижение или повышение трафика на сайт — изменения на нём или сезонность. Если трафик понижается у всех, скорее всего, дело в сезонности, если только у вас, а у похожих сайтов растёт — вероятно, дело в изменениях на сайте.

Рекомендованные запросы — инструмент, позволяющий подобрать запросы для вашего сайта. Нажмите «Получить рекомендованные запросы»:

Яндекс покажет запросы, по которым у сайта есть показы и по которым ещё нет. Для каждого запроса отображается адрес страницы, которую вы сможете использовать в качестве целевой.

Выборку можно будет отфильтровать и увидеть, что актуально для разных регионов.

Также вы увидите количество показов, кликов и цену кликов для каждого запроса, чтобы оценить примерную эффективность.

Индексирование

Поисковый робот Яндекса регулярно обходит ваш сайт и загружает страницы в поисковую базу — индекс. О том, что происходит на этом этапе, говорит Статистика обхода:

Здесь можно увидеть страницы, которые робот обошёл, а также те, которые он загрузить не смог по техническим причинам. Можно увидеть новые страницы, изменившиеся (на графике выше), посмотреть список всех страниц сайта (доступно до 50 000 страниц). Справа от адреса страницы указан код ответа сервера.

Страницы в поиске — инструмент для того, чтобы видеть, какие страницы сайта находятся в поиске, а на каких наблюдаются проблемы.

Яндекс пишет, что этот инструмент нужен для того чтобы:

• следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа добавленных и исключенных страниц;
• получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи;
• выяснить причину исключения страницы из результатов поиска;
• узнавать о состоянии новых страниц сайта. Если страницы были проиндексированы и включены в поиск сразу после их публикации, данные в Вебмастере могут обновляться с задержкой — в течение нескольких дней информация обновится.

Вот как представлена информация о страницах:

1. Во вкладке «Новые и удаленные» можно увидеть соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
2. История — здесь видна динамика количества страниц, которые участвуют в поиске.
3. Распределение — здесь видно количество страниц, участвующих в поиске. Всё отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.
4. Исключенные показывают динамику количества страниц, исключенных из результатов поиска.

У каждой страницы будет отображён статус в столбце «Статус». Что значит каждый из них и как исправить ошибки, читайте в Яндекс Справке .

Всю информацию о страницах можно выгрузить в виде файла XLS и CSV.

Структура сайта — раздел, где показана структура вашего сайта.

Общие рекомендации Яндекса такие:

1. Поддерживайте четкую ссылочную структуру на сайте. Каждый документ должен относиться к своему разделу.
2. Используйте Sitemap. Особенно актуально для крупных сайтов.
3. Ограничивайте индексирование служебной информации ( страницы‑дубликаты, результаты поиска по сайту, статистика посещений и т. п) .
4. Каждая страница должна иметь уникальный человекопонятный URL. Желательно, чтобы по URL было понятно, что находится на странице.
5. Делайте ссылки на другие разделы сайта текстовыми (с текстовым анкором), чтобы предоставить роботу больше информации о материалах, которые в них размещены.
6. Проверяйте корректность symlinks, чтобы при движении по сайту у страниц не получался бесконечно растущий URL.

Все страницы — архив со статистикой всех страниц, которые известны Вебмастеру. Речь идёт обо всех страницах, которые добавлены в Sitemap или переведены в Турбо.

Их можно скачать в виде ZIP‑архива.

Вот что говорит Яндекс:

«Использовать такие данные можно для решения множества задач, связанных с оптимизацией сайта. Например:

1. Можно найти страницы с одинаковыми элементами title или метатегами Description. По выгруженной таблице строим сводную таблицу в Excel, группируем страницы по title или metaDescription и находим дублирующиеся или пустые.
2. Можно найти важные страницы сайта, которые почему‑то не попали в sitemap. Для этого выбираем страницы, которые есть на поиске (status == SEARCHABLE), но их нет в Sitemap (fromSitemap == FALSE).
3. Если на сайте должны быть rel=canonical или, например, редиректы, выбираем интервал дат обхода роботом в lastAccess, выбираем целевые страницы и проверяем, все ли в порядке».

Проверить статус URL — здесь можно отследить индексирование страницы по URL:

Сначала у страницы будет статус «Проверяется», затем «Проверено». В результатах проверки появится отчёт со всей информацией по странице и рекомендациями по её улучшению.

Мониторинг важных страниц — инструмент для отслеживания изменений выбранных вами страниц. Вверху страницы укажите адреса для отслеживания — они появятся внизу с ключевой информацией о них: последними измерениями, датой обхода, кодом ответа, статусом.

Если не знаете, что добавить для отслеживания, перейдите в «Рекомендованные страницы» — Яндекс подскажет, за какими страницами лучше следить.

Чтобы посмотреть историю изменений каждой страницы, нажмите значок с часами слева от страницы.

Переобход страниц позволяет проиндексировать страницы в принудительном порядке.

Обычно робот Яндекса обходит страницы раз в какое‑то время, здесь можно попросить его отдать приоритет конкретным страницам в индексировании.

Файлы Sitemap содержит информацию о файле Sitemap, который вы загрузили. Об этом мы рассказывали в разделе «Как добавить ссылку на файл sitemap.xml».

Обход по счётчикам нужен, если у вас есть страницы, куда установлен счётчик Яндекс Метрики. Вы сможете сделать так, чтобы робот отдавал приоритет этим страницам в индексировании.

Переезд сайта — в разделе можно перевести сайт на новое доменное имя. Новый сайт, куда вы собираетесь «переехать», должен быть добавлен в Вебмастер, на него должны быть подтверждены права.

Сайты должны быть не только добавлены в Вебмастер, но ещё и НЕ объединены в одну группу зеркал (если они объединены, нужно будет сделать расклеивание зеркал ). Содержимое сайтов должно быть доступно поисковому роботу.

После этого необходимо установить перенаправление со старого адреса на новый. Как это сделать — в Яндекс Справке .

Робот узнает о переезде при очередном обходе сайта, но этот процесс можно ускорить, если в инструменте «Переезд сайта» указать новый адрес .

«Скорость обхода» — на этой вкладке можно настроить скорость обхода сайта .

Скорость обхода — это количество запросов в секунду, которое робот отправляет на сайт. Оптимальная скорость рассчитана по алгоритмам, но при необходимости её можно изменить. Для этого переключитесь с «Доверить Яндексу» на «Задать вручную» и укажите скорость с помощью ползунка ниже:

«Снижение скорости обхода сайта может потребоваться, если вы заметили большое число обращений роботов к серверу, на котором находится ваш сайт. Это может увеличивать время ответа сервера и, как следствие, снижать скорость загрузки страниц сайта. Проверить эти показатели можно с помощью отчёта Яндекс Метрики ».

Насчёт увеличения подобных рекомендаций нет.

Раздел «Заголовки и описания» помогает увидеть, у каких страниц вашего сайта одинаковое содержание тегов title и description, что может негативно сказываться на продвижении.

Прямо из этой вкладки вы можете перейти на проблемные страницы, исправить ошибки, а затем отправить страницы на индексирование с помощью инструмента «Переобход страниц».

Рендеринг страниц JavaScript (бета‑версия, пока есть не у всех пользователей) — на этой странице можно управлять индексацией JavaScript‑сайтов.

Вот что Яндекс пишет о функции:

«На некоторых сайтах активно используется JS, что приводит к загрузке важного контента уже после открытия страницы пользователем. В таких случаях оптимизаторы обычно настраивали SSR (серверный рендеринг), чтобы поисковый робот гарантированно получил весь контент страницы. Это требует квалификации, ресурсов на стороне сайта и затрат на настройку.

Чтобы упростить задачу владельцам таких сайтов и не терять ценный контент, команда поискового робота использует технологию рендеринга, то есть выполнения JS‑кода на стороне поискового робота. Сравните модели индексирования вашего сайта с применением рендеринга и без него в новом разделе «Рендеринг страниц» JavaScript (β).

Благодаря новому инструменту вы увидите технические данные и содержимое страницы, полученные сразу двумя способами: с исполнением JavaScript и без него. Так вы сможете сравнить результат и проверить, какой контент получает робот и помогает ли технология рендеринга конкретно вашему сайту».

Представление в поиске

Здесь собраны инструменты, которые помогают управлять тем, как сайт выглядит для пользователей.

Сниппеты и ответы — раздел, в котором показано, какие возможности вы используете, для того чтобы ваш сайт информативнее отображался в поиске — например, «Блок рецептов», «Компания» (отображение адреса, часов работы и прочего):

Справа указано, сколько и какие возможности Яндекса вы используете для отображения в поиске.

Эта страница, по сути, сводка того, как ваш сайт отображается в поиске. Изменить тут ничего нельзя, но на странице показано, что сделать, чтобы появиться в том или ином блоке.

❗️Любые действия не гарантируют, что сайт покажется в виде расширенного сниппета. Все решения принимает алгоритм.

Быстрые ссылки — это ссылки на основные и важные разделы сайта, которые видны сразу в поиске. Обычно их можно увидеть у популярных сайтов:

Этот инструмент нужен не всем. Яндекс пишет , что он необходим только для популярных среди пользователей поиска сайтов с несколькими разделами (как сайт Топвизора, например).

Они создаются автоматически. Робот Яндекса определяет наиболее посещаемые разделы сайта и создает быстрые ссылки. Вы можете только выбрать, показывать их в результатах поиска или нет:

❗️Для ссылок есть несколько условий:

• короткие и понятные названия страниц точно отражают их содержание;
• быстрые ссылки создаются только из внутренних ссылок сайта;
• разделы и подразделы выделены в меню или являются самыми популярными переходами со страницы, для которой формируются быстрые ссылки.

Регистр имени сайта позволяет поменять то, как написан адрес сайта в результатах поиска. Делать это можно для улучшения читаемости и удобства для пользователей, и причину изменения нужно объяснить:

1. Недопустимо более пяти заглавных букв подряд.
2. Нельзя изменять регистр имени сайта для интернациональных доменов. Например, сайт.рф, но не Сайт.рф.
3. Указываются только в нижнем регистре: домены первого уровня — например, ru, info, com, com.ua, org.ru, net.by; префиксы — например, www, w3, ftp.
4. С заглавной буквы могут начинаться имена собственные, если это не противоречит п.3. Например, Name.example.com, www.Napoleon.com .
5. Заглавные буквы в общеизвестных аббревиатурах или аббревиатурах, подтверждающихся контентом сайта, допустимы в соответствии с правилами русского языка. Например, NASA.com, RusPromAuto.ru.
6. Если все слова доменного имени разделены дефисами, то регистр можно изменять только в случаях, описанных в п. 4 и п. 5. Например, Moscow‑one‑love.ru; VTB‑bank.ru.
7. Если доменное имя содержит несколько слов, не разделенных дефисом, то начинаться с заглавной буквы должны все слова (www.SearchEngine.yandex.com, но не www.Searchengine.yandex.com или www.Search‑EngIne.yandex.com).

Про Региональность мы рассказывали выше, в разделе про предварительную настройку сайта. Здесь её можно менять и настраивать.

Товары и предложения

У Яндекса есть блоки с товарами, которые показываются в поиске рядом с основными результатами поиска.

Чтобы Яндекс показывал товары в результатах поиска, нужно загрузить в разделе «Источники данных» специальный YML‑фид.

Когда у вас будут загружены товары, информация о них появится в сводке:

Ссылки

Внутренние ссылки показывают битые (неработающие) ссылки вашего сайта. Здесь может отображаться до 10 000 неработающих ссылок.

Если допущена ошибка в адресе страницы, адрес страницы изменился или страница не существует, такая ссылка считается битой.

Страница «Внешние ссылки» показывает ссылки, которые ведут на ваш сайт с других ресурсов.

Тут могут отображаться не все ссылки. Если страница, где размещена ссылка на ваш сайт, неизвестна роботу или ещё не была проиндексирована, такой ссылки здесь может не быть.

Ссылки отображаются в виде круговой диаграммы: вы можете увидеть, сколько сайтов с разным индексом качества (ИКС) на вас ссылаются. Индекс качества — это показатель того, насколько полезен сайт для пользователей с точки зрения Яндекса.

Вот что Яндекс пишет о внешних ссылках:

Робот Яндекса регулярно проверяет наличие и работоспособность внешних ссылок. По результатам этих проверок могут отображаться:

• URL страницы, на которой установлена ссылка на ваш сайт;
• текст ссылки на ресурсе;
• ИКС ресурса;
• URL страницы, на которую ведет ссылка;
• дата, когда робот Яндекса обнаружил ссылку на ресурсе;
• дата последнего обновления данных о ссылке.

Эта информация позволяет отслеживать появление новых ссылок и выявлять неработающие ссылки. Кроме этого, вы можете сформировать отчёт только по удаленным ссылкам и узнать дату удаления каждой из них.

Здесь можно смотреть неработающие ссылки (тогда выберите «Только неработающие») или ресурсы, где больше всего ссылок на ваш сайт (тогда включите «Группировать по сайтам»). Группировать можно по дате обнаружения или удаления ссылки, ИКС, а также по количеству ссылок на вас.

Нажав на значок фильтра, вы сможете отфильтровать список ссылок. Например, можно посмотреть только один сайт, ссылающийся на вас. Можно выгрузить все внешние ссылки для дальнейшего анализа через сервисы аналитики — Топвизор или другие. Чтобы выгрузить архив, прокрутите страницу вниз и нажмите «Архив».

Турбо‑страницы для контентных сайтов

Турбо‑страницы — технология, которая позволяет ускорить загрузку страниц вашего сайта. На странице «О технологии» вы сможете увидеть разницу между скоростью загрузки обычной страницы и Турбо.

Чтобы подключить контентный сайт к Турбо‑страницам, следуйте документации Яндекса .

В Сводке будет показана вся важная информация о том, как себя показывают Турбо‑страницы.

Чтобы настроить внешний вид страниц (например, настроить меню или виджет обратной связи, добавить CSS‑стили), нужно перейти в раздел «Отладка» :

Здесь вы сможете менять вид Турбо‑станиц, а на картинке справа будет показываться, как сейчас всё выглядит.

В разделе «Диагностика» будут появляться ошибки Турбо‑страниц и рекомендации по их исправлению:

Турбо‑страницы для интернет‑магазинов

Этот раздел выполняет практически такую же функцию, что описана в предыдущем разделе.

Чтобы подключить Турбо‑страницы для своего интернет‑магазина, нужно сначала экспортировать товары в YML‑формат — о том, что это и как это делать, мы говорили в разделе «Товары и предложения».

Затем нужно загрузить этот YML‑фид в разделе «Источники» и настроить страницу по документации Яндекса.

Как и в случае с контентными сайтами, внешний вид Турбо‑страниц можно настроить в разделе «Отладка» .

В разделе «Диагностика» будут показаны Турбо‑страницы с ошибками, их нужно исправить.

Инструменты

В этом разделе находятся бесплатные инструменты для веб‑мастеров от Яндекса.

Про Анализ robots.txt мы уже рассказывали: здесь можно проверить ваш файл robots.txt. Если будут ошибки, они появятся в блоке Результаты анализа robots.txt.

И про Анализ файлов Sitemap мы тоже рассказывали выше.

Проверка ответа сервера позволяет узнать, доступны ли страницы сайта для роботов Яндекса, каков статус SSL‑сертификата и прочее.

Чтобы проверить ответ сервера, в поле «Опрашиваемый URL» укажите адрес страницы, который хотите проверить, а в поле «Робот» выберите робота , чтобы проверить, имеет ли он к странице доступ.

Проверка страницы (бета‑режим) — возможность проверить то, как отображаются страницы вашего сайта с выполнением Javascript и без. Введите адрес страницы в поле и выберите, какую версию страницы проверять — мобильную или десктопную. В результате проверки появятся рекомендации по улучшению.

В разделе «Удаление страниц из поиска» можно указать страницы, которые нужно удалить из поиска. Это могут быть URL‑адреса отдельных страниц или адрес группы страниц (например, каталог).

Чтобы удалить группу, нажмите «По префиксу»:

Укажите префикс. Вот какой пример приводит Яндекс:

Можно указать до 20 префиксов для сайта в день.

❗️Важно: Яндекс рекомендует сначала указать директиву Disallow для тех страниц, которые нужно удалить, то есть запретить их индексирование в robots.txt.

«При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.

Также дальше нужно настроить сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP‑статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

А для удобства пользователей рекомендуется установить редирект с HTTP‑кодом 301».

Проверка мобильных страниц позволяет узнать, всё ли хорошо с мобильной версией сайта. По умолчанию в поле для проверки вписана главная страница сайта, но можно проверить любую:

Ознакомьтесь с рекомендациями Яндекса для мобильных версий сайтов , чтобы предусмотреть возможные ошибки. Страница будет проверяться несколько минут, а потом появятся рекомендации по улучшению.

XML‑валидатор проверяет файлы, которые используются для участия в партнёрских программах Яндекса. Например, YML‑файлы, нужные для загрузки товаров на Яндекс Маркет.

Можно выбрать схему валидации и источник данных:

❗️Важно: XML‑валидатор не проверяет , есть ли в файле все нужные для той или иной категории сущности. Он проверяет только XSD‑схему документа: правильность синтаксиса, структуру и прочее.

Приведём пример, чтобы было понятнее. Составляя YML‑файл для работы с Яндекс Маркетом, вам нужно будет указать элемент — это обязательный элемент, который содержит основную информацию о вашем магазине.

Так вот, XML‑валидатор не подскажет вам, есть ли элемент в файле или нет. Он может подсветить ошибки заполнения, но не указать на недостающие элементы. Если ошибок заполнения нет, то будет казаться, что с файлом всё хорошо, но в итоге в программе‑партнёре он работать не будет.

Валидатор микроразметки помогает убедиться, что микроразметка страниц распознается корректно.

Чтобы проверить код страницы, можно либо ввести её код, либо URL‑адрес:

По итогам проверки могут быть выявлены ошибки (страница не обнаружена, микроразметка не обнаружена, нужное для разметки поле отсутствует или пусто, поля некорректно размещены и прочее) или предупреждения (то или иное значение некорректно заполнено, нужно указать дополнительные поля и прочее).

Проверка наличия НУЦ сертификата — возможность узнать, есть ли у вашего сайта сертификат, выданный Национальным центром сертификации. Получить этот сертификат можно на Госуслугах .

Этот сертификат не обязателен. Вот для чего он нужен:

«Для любого сайта, который работает с данными пользователей, важно иметь действующий сертификат. Он позволяет убедиться, что данные передаются именно тому сайту, который указан в адресной строке браузера, а не подделке злоумышленников.

Яндекс Браузер, как и другие современные браузеры, не позволит открыть сайт, если его сертификат отозван. Некоторые российские сайты столкнулись с отказом в выдаче сертификатов. Чтобы пользователь был уверен в безопасности передачи данных на такие сайты, создан Национальный удостоверяющий центр, которому Яндекс Браузер доверяет».

Настройки

В разделе «Уведомления» можно настроить, какая информация об изменениях сайта в поиске вам будет приходить.

Некоторые уведомления можно отключить, а другие настроить так, чтобы приходили на почту, в самом Вебмастере или в виде push‑уведомления в Яндекс Браузере и мобильном приложении Яндекса.

Здесь могут отображаться разные статусы уведомлений:

Общие настройки — такие, которые действуют для всех сайтов, доступных пользователю в Вебмастере.

В разделе «Права доступа» содержится информация о пользователях, у которых у есть доступ к сайту:

Если выбрать другой сайт (рядом с логотипом Вебмастера в левом верхнем углу), можно посмотреть, у кого есть доступ к другим вашим сайтам.

В разделе «Привязка к Яндекс Метрике» можно связать счётчики Метрики с сайтом.

Вот почему это может быть полезно, по мнению Яндекса:

«Робот Яндекса узнаёт о страницах сайта из разных источников. Один из них — счетчик Яндекс Метрики. Вы можете сообщить Яндексу о том, что нужно обходить страницы, на которых установлен счётчик.

Чтобы робот быстрее посетил ваш сайт, привяжите счётчик Метрики к сайту, подтвержденному в Вебмастере, и включите обход сайта по данным счётчика».

«Иконка ИКС» — здесь можно сделать так, чтобы индекс качества вашего сайта отображался в результатах выдачи:

Можно настроить язык (русский или английский) и цвет отображения (светлый или тёмный). Сервис сгенерирует код, который нужно будет вставить в HTML‑код сайта.

Здесь не написано, в какой конкретно раздел нужно вставлять код, но в Справке сказано, что подобные иконки размещаются внизу страниц сайта — в футере.

Как удалить сайт из панели

1. Перейдите на страницу «Мои сайты» через выбор «Все сайты» вверху страницы.
2. Напротив нужного сайта нажмите на значок крестика.

❗️Если удалить сайт из Вебмастера, он не удалится из поиска.

Если на сайт у кого‑то ещё есть права, он продолжит видеть его в Вебмастере. Чтобы отозвать права, перед удалением сайта из панели сбросьте их.

Ещё больше о сервисах Яндекса для SEO

Как удалить sitemap из яндекс вебмастер

В инструкции от самого Яндекса предельно ясно сказано, как удалить Карту сайта в Вебмастере. Вот только есть одно НО, иногда, кнопочки, при помощи которой можно удалить карту, попросту нет! Внимательный пользователь сразу поймет в чем дело, но встречаются и те, кто не может разобраться в ситуации.

Отсутствует кнопка удаления карты сайта в Яндекс.Вебмастер

Как создать и настроить карту сайта sitemap.xml в 2021 году

Дмитрий Дементий Редакция «Текстерры»

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайта sitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

• Список URL страниц сайта и их иерархия.
• Тип опубликованного контента, например, изображения или видео.
• Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
• Сведения о частоте обновления и последнем обновлении страницы.
• Сведения о приоритетности страницы.
• Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

• На сайте есть страницы, на которые нет ссылок с других страниц сайта.
• Сайт очень большой, у него сложная структура.
• Новый сайт.
• Многие страницы сайта регулярно обновляются.
• На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

• Для «Джумлы»: JSitemap.
• Для Drupal: Simple XML sitemap.
• Для OpenCart: FS XML Sitemap Free — sitemap.xml file generator.

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна карта сайта.

Вот решения для других CMS:

для Joomla. для Drupal.

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

1. Размер файла должен быть не больше 10 мб;
2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
3. Адрес сайтмапа следует прописать в robots.txt;
4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

1. Hourly – обновление ежечасно;
2. Always – всегда обновляется;
3. Weekly – обновляется раз в неделю;
4. Daily – обновления происходят ежедневно;
5. Monthly – обновления происходят раз в месяц;
6. Yearly – один раз в год;
7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

1. Скачать карту при помощи онлайн генератора с другого ресурса;
2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
3. Создать сайтмап вручную;
4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

После создания файл карты будет иметь следующий путь: http://site.ru/sitemap.xml

Кстати, имя карты можно заменить любым, главное здесь – это не менять расширение *.xml. Только нужно будет написать правильный путь к данному файлу в robots.txt.

Инструкция по настройке плагина:

Как проверить сайтмап и сообщить о нем поисковикам

Проверять sitemap на валидность можно, добавив его в вебмастер Гугла или Яндекса. Это самый простой способ, поисковики лучше всего скажут об ошибках.

Вот где проверка расположена в Яндекс Вебмастере:

А вот где в инструментах Вебмастера Google:

Дать Яндексу знать о сайтмапе можно путем добавления в robots.txt такого кода:

Далее в webmaster.yandex.ru нужно открыть «Файлы sitemap» (пункт меню «настройка индексации») и там написать адрес xml-карты.

По аналогии можно добавить sitemap и в Google. Только там «Файлы sitemap» находятся в другой вкладке — «Сканирование».

Нужно ли скрывать карту сайта

Некоторые параноидальные вебмастера прячут сайтмап, опасаясь за свой контент. Ведь при наличии карты сайта он может быть легко сворован. Файл содержит почти всю структуру сайта, все пути на его страницы, то есть с помощью карты мошенники легко смогут сделать дубли или локальные копии ресурса. Отсутствие же этого файла во многом затруднит «ворам» задачу.

Но побеждают те, кто считает, что не нужно скрывать карту сайта, и даже наоборот – необходимо создавать и отображать ее на своем ресурсе.

Даже ссылку в футере размещают на html-карту сайта. И это неплохо сказывается на индексации, так-то!

Related posts:

1. Как запретить копирование файла
2. Как установить wget на windows 10
3. Как решить ошибка ssl context error 5
4. Как зажать кнопку мыши

Как удалить sitemap из яндекс вебмастер

Удаляет сайт из списка сайтов пользователя.

1. Формат запроса
2. Формат ответа
3. Коды ответа

DELETE https://api.webmaster.yandex.net/v4/user/< Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user.">>">>/hosts//hosts.">>">>

user-id	Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user.
host-id	Тип: host id (string). ID сайта. Чтобы получить его, используйте метод GET /v4/user//hosts.

Тело ответа не передается.

Чтобы посмотреть структуру ответа подробнее, нажмите на причину.

ID пользователя, выдавшего токен, отличается от указанного в запросе. В примерах ниже указан правильный uid владельца OAuth-токена.

 < "error_code": "INVALID_USER_ID", "available_user_id": 1, "error_message": "Invalid user id. should be used." >

 Описание
Код ошибки.





">>">>INVALID_USER_ID Описание
ID пользователя, от имени которого разрешен доступ.  
">>">>1 Описание
Сообщение об ошибке.
 ">>">>Invalid user id. should be used. 

Сайт отсутствует в списке сайтов пользователя.

 Описание
Код ошибки.
">>">>HOST_NOT_FOUND Описание
ID запрошенного сайта.
">>">>http:ya.ru:80 Описание
Сообщение об ошибке.
 ">>">>explicit error message 

Была ли статья полезна?

Как удалить сайт из поиска «Яндекс» и Google

Для удаления страницы из индекса можно использовать разные методы, и все они заметно различаются по принципу действия. Какой из них выбрать в вашем случае и как не навредить сайту, пытаясь удалить страницу из SERP? Узнаем сегодня.

Зачем удалять страницу из индекса

Удаление страниц из результатов поиска целесообразно проводить в следующих случаях:

страница содержит устаревший контент;

Хостинг: как выбрать и на какие технические возможности обратить внимание

Крайне редко владельцам бизнеса удается самостоятельно выявить эти ошибки и принять меры по их устранению. Если вы не уверены, что ваш сайт работает идеально, – обратитесь аудитом и внутренней оптимизацией ресурса к «Текстерре». Выявим и устраним ошибки, сделаем сайт удобным для поиска, увеличим поисковый трафик и подготовим план дальнейшего продвижения.

Проверяем индексацию страницы

Прежде чем удалять страницу, необходимо проверить, находится ли она в индексе вообще. Отдельно проверяем индексацию в Google и отдельно – в «Яндекс». Начнем с первого.

Запускаем инструмент Index Coverage Report.

Откроется Google Search Console. Мы должны выбрать домен, на котором размещается проверяемая страница:

Вводим полный адрес интересующей веб-страницы и нажимаем Enter:

Если проблемная веб-страница уже «выпала» из индекса Google, вы получите такое сообщение:

Это значит, что проблемная веб-страница в настоящий момент не может присутствовать в поиске.

Как увеличить конверсию рекламных кампаний: боремся с низким CTR и отказами

Еще один способ проверить индексацию любой веб-страницы в Google (и, кстати, в «Яндексе» тоже) – ввести ее полный URL в поисковую строку:

Да, так просто. Если искомая веб-страница уже проиндексирована, вы увидите соответствующий результат:

Пример проиндексированной веб-странице в SERP Google

Пример проиндексированной страницы в «Яндексе»

Проверить индексацию любой веб-страницы в «Яндексе» можно при помощи инструментов «Яндекс. Вебмастер». Просто открываем его и в разделе «Индексация» выбираем пункт «Проверить статус URL». Можно проверять индексацию только у тех веб-страниц, которые относятся к подтвержденным доменам (у вас должны быть права на сайт, чтобы вы могли «стереть» URL). Если веб-страница находится в индексе отечественного поисковика, вы увидите у нее соответствующий статус:

Почему не стоит проверять индексацию оператором site:

Проблема оператора site: заключается в том, что показывает не только страницы в индексе, но и URL с перенаправлением или с настроенным каноникал. Если в прошлом сайт был перенесен на другой домен, то через site: вы можете увидеть страницу с абсолютно другим заголовком / описанием.

Шаблон или уникальный дизайн: что выбрать для сайта

Как удалить страницу сайта из поиска Google

Не срочное удаление страницы

Мне нужно удалить контент веб-страницы или всю страницу целиком, но не срочно. Например, контент перестал быть актуальным. Я согласен, если еще какое-то время (пару недель) она продолжит «болтаться» в кэше Google (значит, иногда появляться в SERP).

В вышеуказанном случае можно порекомендовать просто удалить содержимое страницы целиком.

Удаление веб-страницы немного отличается в каждой CMS. Например, в WordPress необходимо открыть страницу в редакторе и выбрать пункт «Удалить в корзину»:

Удаленная страница со временем начнет отдавать ошибку 404. Через несколько дней краулеры Google автоматически исключат такую страницу из индекса.

Страница 404: самые креативные, смешные и лаконичные варианты

Объединение нескольких страниц и указание главной

У меня есть несколько версий одной страницы. Я хочу объединить все эти страницы и перенести их на единый URL. Контент на этих страницах является практически не отличается.

В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google.

Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной.

Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.

Кстати, кроме тега можно использовать перенаправление (лучше 301-ое) и параметры после URL (параметры следуют сразу после знака «?»). О том, как блокировать обход дублированного контента, содержащего параметры, —в справке Google Search Console.

Каноникализацию можно сделать несколькими способами. Выбирайте тот инструмент, которым владеете лучше.

Срочное удаление страницы из результатов поиска

Мне нужно как можно быстрее удалить страницу из индекса. У меня нет времени возиться с канониклами / ограничением доступа / метатегами. Речь идет о конфиденциальных данных или об исполнении решения суда.

В этом случае нужно использовать «Инструмент удаления URL». Открываем инструмент и выбираем сайт:

Указываем полный URL страницы, которую нужно скрыть:

Что должно быть в вашей CRM: ключевые возможности для бизнеса и сотрудников

Кстати, здесь же можно удалить все URL с текущим префиксом и скрыть кэшированную копию страницы. Подтверждаем запрос:

Инструмент не удаляет страницу из индекса в буквальном смысле, а лишь убирает ее оттуда на 6 месяцев, после чего вы должны принять финальное решение: удалить все содержимое страницы целиком либо ограничить доступ к странице.

Инструмент действует не мгновенно: скрывает проблемную страницу в течение 24-х часов.

Это самый быстрый способ показать Google, что страница должна быть удалена из результатов поиска.

Страницу нужно удалить из поиска, но она должна быть доступной

Мне нужно удалить всю страницу из индекса, но после этого она должна быть доступна определенным посетителям сайта.

В этом случае нужно использовать ограничение доступа к странице. Сервисов и инструментов для этого много, но чаще всего используется ограничение по IP или организация доступа к странице по паролю. Здесь, опять же, сложно советовать что-то конкретное, так как ваши конечные цели сложно предугадать. По сложности внедрения оба способа примерно одинаковые.

Ограничение доступа по IP или вход по паролю – отличный сценарий для тестовых этапов разработки сайта (например, при внедрении нового функционала) или для внутренних сетей. Страницы с ограниченным доступом никогда не попадут в индекс «Яндекс» и Google.

Ограничить доступ к определенной странице можно при помощи учетных записей на сайте, но это трудоемкий способ.

Ограничить доступ к странице всем пользователям и сохранить его для некоторых посетителей можно при помощи мета-тега robots. Для этого необходимо добавить в него директиву noindex. На практике выглядит такой тег следующим образом:

При помощи директивы noindex в robots вы даете понять краулеру: выбранная страница не должна находиться в SERP.

Удаление изображения из результатов поиска

Мне нужно удалить картинку из результатов поиска / «Google Картинок»

Здесь я рекомендую использовать атрибут disallow, который нужно указать в robots.txt. Никаких сложностей с этим точно не возникнет.

Как запустить вирусную видеорекламу: 7 составляющих вирального ролика

Вы можете ограничить обход как одной, так и сразу всех картинок. Все, что нужно для этого, – знать имя краулера. Это Googlebot – Image.

Например, мы хотим удалить картинку, значит, прописываем такой атрибут:

Удаление ссылки на страницу с контентом, защищенным копирайтом

Я хочу удалить материалы, нарушающие мои или чужие авторские права

Вам необходимо создать заявление в специальном инструменте для вебмастеров Google (называется DMCA).

Выбираем пункт «Создать новое заявление» и заполняем всю контактную информацию:

Указываем персональные данные, электронную почту, название компании и страну проживания:

Заполняем контактную информацию

Как видим, потребуется описать произведение, защищенное копирайтом, и указать ссылку, где оно размещается легально. Потребуется указать и точное расположение материалов (в виде ссылки), ущемляющих ваши авторские права:

Не забываем отметить чекбоксы и дать согласие на то, что эта форма заполняется «под присягой»:

Составление семантического ядра: 5 типичных ошибок

Удаление ссылки на страницу, содержащую персональные данные

Я хочу удалить персональные данные, которые появились на определенном сайте в интернете.

Для этого используйте инструмент «Удаления конфиденциальности». Он создан специально для ЕС, но мне известны как минимум 2 случая, когда он помогал удалить персональные данные и граждан РФ.

Понадобится заполнить страну проживания, фамилию и имя, электронную почту. Можно отправить запрос от имени родственника / члена семьи / друга / клиента. В этом случае понадобится указать степень родства (если речь идет о родственнике):

Далее указываем ссылки на действующие веб-страницы, содержащие ваши персональные данные:

Указываем поисковую фразу (в этом случае – имя и фамилия), по которой в результатах поиска выводятся ссылки на веб-страницы, содержащие персональные данные (ваши или доверенного лица):

Читаем соглашение Google о ПДн, отмечаем чекбоксы и подписываем документ:

Как удалить / стереть страницу из результатов поиска «Яндекс»

Теперь о том, что предлагает «Яндекс» для удаления URL из поиска.

Для эффективного удаления URL навсегда отечественный поисковик советует использовать уже знакомую директиву disallow. Ее следует указывать прямо robots-файле.

Второй способ. На удаляемой странице нужно прописать метатег robots (не забываем про директиву noindex).

Взламываем «Яндекс» с помощью тега noindex: что это, зачем и как использовать

Здесь стоит отметить, что бот-краулер отечественного поисковика первым делом анализирует именно robots-файл и только потом начинает сканировать саму веб-страницу. Убедитесь, что robots.txt содержит корректные указания. Для этого вы можете использовать специальный инструмент:

Еще один вариант – настроить HTTР-статус (он должен быть настроен у самой удаляемой веб-страницы). В последнем случае вы должны настроить точное перенаправление (404-ый или же 403-ий редирект).

Индексирование в поисковиках: что это такое и как работает

Если вы сделали прямое запрещение на сканирование веб-страницы в системной файле robots, краулеры перестанут сканировать проблемную веб-страницу примерно спустя 24 часа (или быстрее).

Другой сценарий. Вы «сотрете» веб-страницу при помощи robots-тега (или же сразу настроите редирект http-статусом), а краулер продолжит сканирование проблемной веб-страницы (точно сказать нельзя, но в течение нескольких дней). Страница и спустя пару дней остается недоступной и не обновляется? Значит, она будет автоматически удалена из SERP «Яндекса » в ближайшее время.

Как ускорить удаление URL в «Яндексе»

Вы можете повлиять на скорость удаления URL. Первым делом уничтожьте веб-страницу через админку используемой CMS (URL должна отдавать 404-ой код). Вы можете удалить и целую группу URL, если в этом возникает необходимость.

Кстати, «Яндекс» позволяет удалить страницу из поиска даже в том случае, если вы не являетесь владельцем сайта и у вас отсутствуют права на домен (где размещается страница, которую вы хотите удалить) в «Яндекс.Вебмастере». Откройте инструмент и укажите проблемный URL:

Этот инструмент может помочь вам, только если для удаления URL есть какие-либо основания. К ним можно отнести 403-ий / 404-ый / 410-ый коды, прямое ограничение индексирования в robots.txt или запрещение метатегом noindex.

Если права на сайт в «Я.В» у вас подтверждены, вы сразу сможете стереть до пятисот URL в сутки.

Это все способы, при помощи которых Вы можете удалить страницу из индекса «Яндекс» и Google. Теперь предлагаю рассмотреть самые распространенные ошибки, которые могут возникнуть при удалении страниц.

Как не надо удалять страницу из поиска

Nofollow – только рекомендация

Использование Nofollow, когда требуется исключить страницу из индекса.

Этот способ вообще не работает, так как nofollow – всего лишь рекомендация для краулера и он, скорее всего, не будет ее соблюдать.

Тег noindex уже не работает

Использование тега noindex для запрещения индексации через robots.txt.

Раньше этот способ частично работал, но еще в 2019 году Google объявил, что отныне noindex в robots.txt не поддерживается.

Каноникал на другой URL

Страница с каноикл-тегом, которая ведет на иной URL.

Каноникал используется для указания главной страницы, требующей индексации. Noindex же говорит краулерам, что страница не должна находиться в индексе. Тут возникает конфликт. Поэтому не используйте страницы с каноникл-тегом, указывающие на другие URL.

Оптимизация сайта под «Яндекс»: топ-9 факторов для интернет-магазинов в 2021 году

Блокировка поисковых роботов в robots.txt

Блокировка краулеров через файл robots.txt.

Так вы лишь рекомендуете краулеру не обходить страницу, но он все равно может ее просканировать по своему усмотрению и даже включить ее в SERP.

Канониклы настраиваем в тех случаях, когда проблемная страница нужна в рамках сайта. Когда не нужна, настраиваем 301-ое / 404-ое перенаправление.

Удаление сайта. Руководство разработчика

Удаляет сайт из списка сайтов пользователя.

1. Формат запроса
2. Формат ответа
3. Коды ответов

УДАЛИТЬ https://api.  webmaster.yandex.net/v4/user/>">>/hosts//hosts.">>">>

идентификатор пользователя	Тип: int64. Логин пользователя. Требуется при вызове всех ресурсов API Яндекс.Вебмастера. Чтобы получить его, используйте метод GET /v4/user.
идентификатор хоста	Тип: идентификатор хоста (строка). Идентификатор сайта. Чтобы получить его, используйте метод GET /v4/user//hosts.

Тело ответа не передано.

Чтобы подробно просмотреть структуру ответа, щелкните причину.

Идентификатор пользователя, выдавшего токен, отличается от указанного в запросе. В приведенных ниже примерах показывает правильный uid владельца токена OAuth.

  < Описание 
Код ошибки.
 ">>">>INVALID_USER_ID < Описание 
Идентификатор пользователя, разрешившего доступ.
 ">>">>1 < Описание 
Сообщение об ошибке.
 ">>">>Недопустимый идентификатор пользователя.  Следует использовать . 

Сайт отсутствует в списке сайтов пользователя.

  < Описание 
Код ошибки.
 ">>">>HOST_NOT_FOUND < Описание 
Идентификатор запрошенного сайта.
 ">>">>http:ya.ru:80 < Описание 
Сообщение об ошибке.
 ">>">>явное сообщение об ошибке  

Была ли статья полезной?

[PDF] Яндекс: Обзор инструментов для веб-мастеров и рекомендации

Яндекс: Обзор инструментов для веб-мастеров и рекомендации

Программа • Введение • Регистрация • Функции и инструменты

© COPYRIGHT, 2015, ICROSSING, INC. 0002 Что такое Яндекс • Яндекс — ведущая поисковая система в России. • Она занимает почти 60% рынка в России с опорными пунктами в Польше, Украине, Казахстане, Белоруссии и Турции. • Яндекс лучше для русскоязычного поиска. Яндекс был создан специально для российского рынка и лучше анализирует намерения пользователя, чем орфографию на русском языке. • Яндекс также предлагает поиск на английском языке, что означает, что у вас есть потенциал для извлечения трафика из России.

© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.

Алгоритм Яндекса • MatrixNet — российский алгоритм приоритета страниц (аналог PageRank). • Он измеряет популярность сайта, а также сумму и релевантность обратных ссылок для определения оценки тематического индекса цитирования (TIC), которая играет роль в MatrixNet. • TIC оценивается по шкале от 0 до 10 000 и одинаков для каждой страницы веб-сайта, поэтому он не зависит от страницы за страницей, как PageRank. • Плагин под названием Yandex Elements позволит вам увидеть этот счет: — https://elements. yandex.com.tr/

© COPYRIGHT 2015, ICROSSING, INC.

Возможности Яндекса без регистрации • Вы можете отправить свой сайт на Яндекс, не имея учетной записи Инструментов для веб-мастеров. • Функции, к которым вы можете получить доступ без регистрации, включают: — Отправка сайта — Проверка индексации вашего сайта Яндексом — Анализ файла robots.txt вашего сайта — Сообщение о результатах поиска спама и удаление вашего URL из поиска — Проверка файла Sitemap, XML-фида и микроформатов

© АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.

• Однако регистрация сайта и использование Инструментов для веб-мастеров могут помочь получить более глубокое понимание.

Регистрация аккаунта в Инструментах Яндекса для веб-мастеров • Получите аккаунт в Яндекс.Паспорте. Зарегистрируйтесь со следующей информацией: — Имя и фамилия (фамилия) — Имя пользователя — Пароль учетной записи — Мобильный телефон (сброс паролей) — Дополнительный адрес электронной почты (сброс паролей) — Контрольный вопрос (сброс паролей)

• Если вы зарегистрировались с номер мобильного телефона, Яндекс отправит вам SMS с кодом подтверждения, который необходим для завершения процесса регистрации. © АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.

Добавьте свой веб-сайт • После входа в систему нажмите ссылку «Добавить сайт». • Введите URL вашего сайта в поле и нажмите «Добавить сайт».

© COPYRIGHT 2015, ICROSSING, INC.

Регистрация учетной записи Yandex Webmaster Tools • У вас есть 4 варианта проверки сайта: простой и рекомендуемый метод. Скопируйте HTML-код и вставьте его в шапку вашего сайта. Обратите внимание, это должно быть на всех страницах вашего сайта — Файл Txt — Создайте пустой текстовый файл с указанным именем, предоставленным Яндексом, и загрузите его в корневой каталог вашего сайта — По DNS — Создайте запись CNAME, предоставленную Яндексом, в вашем настройка DNS сайта

• После проверки одним из этих способов опубликуйте и нажмите «Проверить», чтобы узнать, может ли Яндекс получить доступ к вашему сайту. © COPYRIGHT 2015, ICROSSING, INC.

Функции и инструменты

Отправка карты сайта • Добавление карты сайта: — — —

© COPYRIGHT2 2015, ICROSSING, INC. в разделе «Параметры индексирования» на вкладку «Файлы Sitemap» в разделе «Параметры индексирования» и нажмите «Добавить». (Только для форматов XML и Text) Статус будет отображаться OK. Вы можете проверить свой файл Sitemap перед отправкой на наличие ошибок, используя их Sitemap Validator • https://webmaster.yandex.com/sitemaptest.xml «Дополнительная информация» покажет сведения о текущей версии, доступной в поиске, и последнем обновлении. Версия карты сайта Обработка новой версии роботом Яндекса может занять две недели. Яндекс не предоставляет возможность повторно отправить карту сайта. Единственный способ — сначала удалить существующий, а затем отправить новый

Инструмент проверки ответа сервера • Это похоже на «выбрать как Google», чтобы помочь веб-мастерам устранять неполадки со страницами с ошибками, которые не индексируются при поиске ЯндексБотом • Вы можете получить доступ к этому инструменту в нескольких местах: —

После входа в систему в свою учетную запись, вы можете увидеть ссылку справа в разделе «Мои сайты» — опция «HTTP-коды» доступна в разделе «Индексирование» — опция «Исключенная страница» доступна в разделе «Индексация»

• Как использовать этот инструмент: —

© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.

Введите правильный формат URL-адреса, выберите тип робота Яндекса и нажмите «Проверить» — Код ответа поможет вам проанализировать ошибки — Контент страницы позволяет увидеть контент так, как его видит YandexBot

Вариант «Исключенные страницы» • Перейти в «Исключенные страницы» опция доступна в разделе «Индексирование». Яндекс покажет страницы вашего сайта, не проиндексированные ЯндексБотом, по разным категориям: — — —

Страницы ошибок HTTP (404) URL-адреса, заблокированные Robots.txt Неподдерживаемые форматы страниц, например, Sitemap

• Вы можете установить уровень важности для этих кодов ошибок, нажав «Настройки». • Нажмите «Ссылки на страницы» в отчете о состоянии в формате HTML, чтобы просмотреть внешние и внутренние страницы, ссылающиеся на страницу с ошибкой. © COPYRIGHT 2015, ICROSSING, INC.

Сообщить о спаме • Алгоритм Яндекса учитывает исключительно взаимодействие с пользователем и показатели ранжирования ключевых слов, а не ссылки, поэтому он может отфильтровывать спам-ссылки. • Вы также можете сообщить о внешних ссылках на ваш сайт, если они содержат вирус, фишинг или спам в поисковых системах. —

© COPYRIGHT 2015, ICROSSING, INC.

Удалить URL-адрес • Вы можете запросить удаление URL-адреса, когда страница больше не существует на вашем сайте. Это ускорит процесс удаления из индекса Яндекса. • Крайне важно, чтобы страница возвращала ошибку 404, чтобы Яндекс мог обработать ваш запрос. —

© COPYRIGHT 2015, ICROSSING, INC.

Robots.txt • Вы можете загрузить файл robots.txt со своего сайта в этот инструмент и проверить, чтобы посмотреть, соблюдает ли робот Яндекса правила файла. • Вы также можете создать файл Robots.txt, который вам нужно будет вручную загрузить на свой веб-сайт, чтобы изменения вступили в силу. —

© COPYRIGHT 2015, ICROSSING, INC.

Структурированные данные • Яндекс имеет Валидатор микроформата для проверки семантической разметки вашего сайта: —

Schema.

This entry was posted in Популярное