Удаление сайта из поиска Google и «Яндекс»
В сегодняшней статье разберем, как удалить отдельные страницы или весь сайт из поисковиков Яндекс и Google.
Удаление страницы из «Яндекса»
Существуют 3 рабочих способа, как удалить страницу из поиска Яндекса. Подробнее разберем каждый из них.
Через «Яндекс.Вебмастер»
Для начала расскажем, как удалить сайт через Яндекс Вебмастер.
- откройте в браузере сервис Вебмастер;
- найдите вкладку «Инструменты»;
- кликните по кнопке «Удаление страниц из поиска».
После этого откроется окно, в котором необходимо указать ссылки на удаление.
За сутки можно закрыть не более 500 адресов на сайт. Если же нужно через вебмастер удалить 500+ страниц из поиска, то стоит использовать вариант закрытия «По префиксу».
Такой метод позволяет закрывать целые разделы сайта за раз. Нужно указать только префикс, который стоит перед телом ссылки. Укажите его, а затем нажмите на «Удалить».
Яндекс Вебмастер — это самый надежный способ удалять сайты и их отдельные страницы из поиска. Все добавленные вышеперечисленными способами URL гарантированно не будут проверяться краулерами и не появятся в выдаче по запросам.
Удаление страницы (404)
Ошибка 404 Not Found означает, что страницу не удалось найти. Сервер отвечает на пользовательский запрос, но соответствующего контента просто нет. Обычно 404-страница появляется, когда вебмастер ранее удалил ее.
Вручную убирать такую ссылку из поиска не нужно. Краулер, сканирующий сайты, автоматически удаляет нерелевантные URL после переобхода в течение недели.
Чтобы ускорить процедуру и быстрее удалить страницы, рекомендуется отправить сайт на принудительную переиндексацию. Как это сделать:
- откройте «Яндекс.Вебмастер»;
- перейдите в раздел «Переобход страниц» и укажите адрес устаревшей страницы;
- нажмите на «Отправить».
Краулеры Яндекса при следующем обходе приоритетно проверяют ссылки из этого списка. Если они обнаружат ошибку 404, то, как и всегда, просто решат удалить эту страницу.
Через robots.txt
Robots.txt — это специальный документ, который используется краулерами как инструкция. В файле они понимают, что можно и нельзя сканировать и, соответственно, добавлять в индекс.
Чтобы установить запрет на сохранение определенных страниц, используйте стандартную директиву Disallow. Ее указывают в начале строки, а через двоеточие вводят ссылку на конкретную страницу или префикс.
Если вам нужно удалить страницы из поиска только в Яндекс, то в самом начале фрагмента с запрещенными к индексации ссылками укажите User-agent: Yandex. Эта помета указывает, что дальнейшие инструкции предназначены только для Яндекса. Краулеры Google не будут их выполнять.
Работая с robots.txt, нужно помнить, что данный файл — набор рекомендаций, а не жестких правил. Иногда поисковики нарушают их, из-за чего страницы сканируются и даже попадают в SERP.
Через метатеги
Если у вас простой одностраничник, или сайт сделан на чистом HTML, то можно закрыть индексацию через мета-теги. Для этого следует прописать тег robots с параметром noindex.
Чтобы данный способ заработал, впишите между тегами head стандартную конструкцию: . Отметим, что таким же образом работают с другими поисковиками. Просто замените Yandex на Google или другую систему.
Крайне важно оставить этот тег в самом начале документа. Если краулер заметит ее сразу при входе, то 100% не продолжит дальнейшую работу с ресурсом.
Удаление сайта из Google
Теперь подробно расскажем, как удалить сайт из поисковика Google. У Google Search Console, как и у Яндекс.Вебмастера, есть специальный инструментарий для удаления лишних страниц. В меню слева нажмите на «Удаление», а затем — на «Создать запрос».
На экране откроется окно с 2 вариантами:
- Временное удаление — пользователь указывает ссылку, после чего в Google больше не будет отображаться определенная страница. Однако через некоторое время она снова появится. Чтобы навсегда избавиться от страницы, следует удалить документы или настроить метатеги;
- Удаление кэшированной копии — в таком случае Google сотрет сохраненные в кэше копии страниц. Этот вариант подойдет, если информация на них потеряла актуальность.
Подробнее рассмотрим первый вариант, как убрать ненужный сайт из поиска Google:
- вставьте URL в поле окна «Создать запрос»;
- активируйте опцию «Удалить только этот URL». Если вам нужно удалить еще с этого сайта аналогичные страницы, то стоит использовать вместо ссылки префиксы и функцию «Удалить все URL с этим префиксом».
Затем на экране появится предупреждение, в котором пользователя предупреждают, что все вариации URL перестанут отображаться в поиске по ключевым запросам. Нажмите на «Отправить запрос».
На странице «Удаление» отображаются все пользовательские запросы на закрытие от индексации. Они выполняются не сразу, а в течение нескольких дней. В Google Search Console можно отслеживать актуальный статус заявки.
Отметим, что в 2024 году Google перестает учитывать директивы robots.txt. Краулеры уже не воспринимают инструкцию nofollow. Возможно, в будущем данный файл вообще не будет использоваться для удаления сайта и страниц из поиска.
Коротко о главном
Чтобы гарантированно удалить страницу или сайт из поиска, рекомендуется использовать несколько способ сразу. Краулеры могут пропустить инструкцию в одном источнике, поэтому дублирование запретов — нормальная практика.
При этом приоритетным способом удаления становится «Вебмастер» и Search Console. Google постепенно снижает вес robots.txt, из-за чего краулеры не учитывают запрещающие директивы. Поэтому в первую очередь нужно поставить запрет на индексацию в специализированных инструментах.
Как убрать капчу в Яндекс
Капча, ввод которой требуется нам на многих сайтах, иногда бывает не только надоедливой, но и неэффективной. Особенно это касается ситуаций, когда мы постоянно вынуждены вводить капчу при использовании Яндекс-сервисов. В этой статье мы подробно разберемся, как можно убрать капчу в Яндекс и решить возникающие проблемы.
- Почему Яндекс ставит капчу
- Как убрать значок капчи в Яндексе
- Как отключить проверку капчи в Яндексе
- Что делать, если постоянно вылезает капча
- Полезные советы и выводы
Почему Яндекс ставит капчу
Перед тем, как перейти к конкретным инструкциям, необходимо понять причины поиска возможностей убрать капчу в Яндексе. Они могут быть различными, но обычно все сводится к двум главным:
- Запрет на сохранение cookie в браузере: если вы не разрешаете сайту сохранять cookie в вашем браузере, то при повторном заходе на сайт вы будете снова и снова проходить капчу.
- Режим Инкогнито: если вы используете этот режим работы в браузере, то при закрытии его, cookie автоматически удаляются. Следовательно, вам придется снова проходить капчу при следующем входе.
Как убрать значок капчи в Яндексе
Если вас беспокоит не только само прохождение капчи, но и ее визуальное присутствие на странице, то вы можете скрыть ее значок. Для этого достаточно добавить следующий CSS-код в файл стилей:
Найдите файл CSS вашей темы (дочерней либо основной) в разделе Внешний вид/редактор и пропишите его где-нибудь в коде, не затрагивая при этом правила для мобильных.
Как отключить проверку капчи в Яндексе
Если капча надоедливо просится за вами, пытаясь защитить сайт от автоматических действий, вы можете попытаться отключить ее проверку. Однако, это возможно не всегда.
- Проверка (captcha) появляется при третьей повторной отправке с одного IP-адреса за короткий период времени.
- Убрать капчу, к сожалению, нельзя, потому что в таком случае в форму будет попадать много спама.
Что делать, если постоянно вылезает капча
Если вы постоянно сталкиваетесь с капчей при работе в Яндекс-сервисах, убрав ее значок или не получив возможности отключить проверку, то можно попытаться проверить свой IP-адрес.
Одна из причин постоянной проверки IP-адреса может быть в зафиксированной подозрительной активности на адресе. Например, это может быть бот, пытающийся нагрузить поисковую систему, спамеры, злоумышленники.
Чтобы проверить, не попались ли вы под такой подозрительный IP, можно воспользоваться сервисами проверки IP-адреса: http://www.ripe.net/ или https://www.ip-tracker.org.
Полезные советы и выводы
- Если вы не хотите проходить капчу каждый раз при входе на сайт, разрешите браузеру сохранять cookie.
- Если вы используете режим Инкогнито в браузере, то будьте готовы к постоянным просьбам пройти капчу.
- Чтобы скрыть значок капчи, добавьте соответствующий CSS-код в файл стилей.
- Отключить проверку капчи нельзя из-за защиты от спама, которую она обеспечивает.
- Если вы постоянно сталкиваетесь с капчей, проверьте свой IP-адрес на наличие подозрительной активности.
- Существуют множество сервисов для проверки IP-адреса, которые могут помочь вам определить причину постоянных просьб пройти капчу.
- Почему Яндекс постоянно просит ввести капчу
- Как обойти капчу от Яндекс
- Как избавиться от капчи в Яндексе
Убрать капчу в Яндексе можно, следуя нескольким простым шагам. Сначала необходимо выбрать каталог в консоли управления. Далее нужно выбрать сервис Yandex SmartCaptcha. После этого на экране появится список капч, которые можно удалить. Нужно выбрать капчу, которую вы хотите убрать, и нажать на кнопку «Удалить». В следующем окне подтвердите удаление, чтобы завершить процесс. Капча — это механизм защиты от спама, который применяется на многих сайтах. Однако часто пользователи сталкиваются с проблемой, когда капча мешает им в использовании интернет-ресурса. Если вы хотите убрать капчу в Яндексе, следуйте этим простым инструкциям.
- Как избавиться от капчи в Яндексе
- Советы админов
Как добавить сайт в Вебмастер Яндекс
Яндекс Вебмастер — это очень полезный инструмент для анализа сайта и его аудитории, а также для индексации страниц.
Его использование может значительно упростить работу с ресурсом и его продвижением, поэтому этот сервис должен быть на вооружении у любого вебмастера, который работает с Яндексом.
Перейдите по ссылке для регистрации сайта в Яндекс (из Украины нужно включил VPN):
К тому же, сервис бесплатный и простой в управлении, поэтому сложностей с ним возникнуть не должно. В этой инструкции мы пошагово опишем начало работы с Яндекс Вебмастером и дадим некоторые советы по его использованию.
Регистрация в Яндекс Вебмастер
Для того, чтобы оптимизировать ваш сайт для поиска в Яндекс, в первую очередь нужно добавить сайт в поисковик, а потом сразу же добавить сайт в Яндекс Вебмастер.
Перед добавлением вашего сайта необходимо создать принудительно-добровольно электронную почту в сервисе Яндекс.
Чтобы зарегистрировать аккаунт, перейдите по ссылке:
После того, как вы зарегистрировали адрес электронной почты, можем переходить к следующему шагу регистрации вашего сайта в Вебмастерах Яндекс.
Для этого необходимо авторизоваться в сервисе и нажать «+» в верхней части страницы «Сводка» или кликнув по кнопке «Добавить новый сайт» внизу. Далее нужно вписать URL вашего сайта и нажать «Добавить»
При регистрации сайта необходимо учесть пару очень важных моментов, а именно:
- URL сайта нужно прописать с https, если он имеет SSL-сертификат (в ином случае https нужно убрать);
- не прописывать URL с www.
После этого нам необходимо подтвердить права на сайт. Это можно сделать в разделе «Права доступа», перейдя в окно «HTML-файл». Здесь необходимо загрузить файл верификации, который находится в корне сайта.
Крайне важно, не менять ни название файла, ни его содержимого, иначе подтвердить права на сайт не получится. Также необходимо заранее проверить доступность файла. Если все хорошо, то его можно загружать в Яндекс Вебмастер.
Однако если при этом система выдает ошибку, значит проблемы все-таки есть. Если же проблем не возникло, система примет файл и начнет проверку. Она занимает около двух дней.
Открытие доступа к Яндекс Вебмастер другим пользователям
Если вы управляете сайтом не в одиночку, то необходимо предоставить права администратора другим пользователям. Для этого в настройках необходимо открыть «Права доступа».
В окне необходимо выбрать сайт, к которому вы хотите открыть доступ стороннему пользователю. Далее нужно ввести логин другого пользователя Яндекс Вебмастера и нажать кнопку «Делегирования прав».
Ускорение индексации
Чтобы индексация сайта шла быстрее, зарегистрировать ресурс в Яндекс Вебмастере недостаточно. Помимо этого необходимо установить карту сайта, то есть файл Sitemap.xml. С его помощью система сможет увидеть все страницы, которые открыты для индексации.
Для того, чтобы добавить карту в Яндекс Вебмастер, необходимо во вкладке «Индексирование» перейти в окно «Файлы Sitemap». С отдельной строке загрузите подготовленный файл Sitemap.xml и нажмите «Добавить».
Если с этим возникли проблемы, значит карта сайта составлена неправильно или повреждена. Ее можно проверить здесь же, во вкладке «Инструменты», открыв «Валидатор». Он покажет все ошибки в файле, а также даст ряд рекомендаций по их устранению.
Кроме того, в Яндекс Вебмастер есть встроенный инструмент для ускорения индексации определенных страниц — «Переобход страниц». Здесь нужно ввести URL страницы, которую необходимо проиндексировать в первую очередь. При этом есть ограничение по количеству таких страниц — 20 в день.
Для чего нужен Яндекс Вебмастер?
Главной и основной задачей этого инструмента является осведомить веб мастера, о том, что происходит с его сайтом, например:
- узнать сколько страниц добавлено в поисковик;
- отправлен и принят ли sitemap сайта;
- какие страницы не попали в индекс;
- по каким запросам находят ваш сайт;
- какие обратные ссылки проиндексированы.
- Также, вы можете указать региональную принадлежность сайта:
В этом прекрасном инструменте веб-мастер может получить массу другой полезной информации, которая, бесспорно, очень нужна, если для вас продвижение сайта играет какую-то роль в бизнесе.
В-общем, регистрируйтесь в вебмастерах Яндекс, делайте побольше попыток и экспериментов, а также не забывайте читать справку, если что-то не понятно.
Ну а если остались вопросы, связанные с добавлением сайта в вебмастера Яндекс, то оставляйте их в комментариях ниже.
Добавление сайта в Яндекс.Вебмастер: как выполнить и зачем это нужно
Новосозданный сайт нуждается в комплексном продвижении, которое можно выполнить с привлечением поисковых систем. Одна из них – Яндекс, располагающая большим арсеналом инструментов для аналитики, контроля, раскрутки. Дело остается за малым: нужно добавить сайт в Яндекс.Вебмастер – рассказываем, как и это сделать и какие результаты можно получить.
Что такое Яндекс.Вебмастер, почему он так важен для продвижения
Сервис позволяет эффективно оценивать позиции сайта и осуществлять отслеживание запросов, использующихся в поисковых системах. Он дает возможность мониторить и анализировать ошибки, оказывающие прямое влияние на ухудшение позиций ресурса в системе ранжирования Яндекс. Основная география работы – Россия и некоторые страны СНГ, такие как Беларусь, Казахстан. Данные предоставляются открыто, можно получить сведения о статусе индексирования – универсальное решение для владельцев сайтов, вебмастеров, сеошников и маркетологов.
Как выполнить добавление сайта в сервис: пошаговая инструкция
Добавление сайта занимает не более 20 минут: нужно открыть официальный сайт Вебмастера, потом – зарегистрировать профиль в Яндексе или использовать имеющийся.
- Откройте сайт Яндекс.Вебмастер, нажмите кнопку «Перейти» (расположена в верхней части главной страницы).
- В новом окне отразится предложение о добавление сайта и сведения о ресурсах, которые уже подключены. Нажмите кнопку «Добавить сайт», укажите URL-адрес ресурса, который будет участвовать в поиске.
- Подтвердите права, следуя инструкциям.
Подтверждение прав – важный этап, представители сервиса должны убедиться в том, что инициатором добавления сайта является владелец, а не третье лицо. Для соблюдения этого правила, обеспечивающего безопасность, можно использовать один из трех способов:
- в корневом каталоге создается файл с содержимым, автоматически генерирующимся поисковиком. Нажав на ссылку с именем, его можно загрузить;
- в head добавляется метатег, содержащий сгенерированное содержимое;
- вставляется DNS-запись (TXT) с аналогичным верификационным кодом и названием.
Самый простой способ – первый, не требующий узкопрофильных знаний или навыков. При использовании DNS срок подтверждения может увеличиваться до 2 суток, что связано с длительным процессом обновления и спецификой системы.
Читайте также:
Какие возможности имеет сервис Яндекс.Вебмастер
Сервис имеет большое количество функций и возможностей, способных принести пользу вебмастеру. Перечень постоянно расширяется, в старые инструменты – обновляются и оптимизируются. Рассмотрим функционал детальнее.
Сводка
Основная функция Вебмастера, позволяющая получать уведомления о текущих проблемах. Предоставляются сведения о критических и опасных ошибках сайта, а также по другим вопросам, касающимся безопасности и работоспособности.
Качество ресурса
Есть сведения о качестве сайта, а также отзывах о нем. Последние оставляют посетители, а качество определяют внутренние алгоритмы поисковой системы. Индекс качества отображается в форме удобочитамого графика, доступны сведения об изменениях динамики показателя в течение выбранного отчетного периода. Отдельный блок – значки, которые демонстрируются в поиске, здесь виден прогресс на пути к получению новых отличий. Например, это могут быть значки «Популярный сайт» или «Турбо-страницы». Интерес представляет сравнительная таблица, в которой собраны сведения о ближайших конкурентах: подбираются автоматически, но можно задавать площадки вручную.
Диагностика
Этот раздел посвящен ошибкам, которые наблюдаются на сайте. Пользователь получает не только общие сведения о проблемах, но и рекомендации по устранению. Предусмотрены советы о подключении Вебмастера к сайту. В основе работы – автоматизированные системы, обновляющие данные в базе индекса: уведомления сразу отображаются в разделе при выявлении ошибок, самые важные – отправляются на электронный адрес, указанный при регистрации. Предусмотрены три вида ошибок:
- предполагаемые, оказывающие влияние на скорость работы ресурса и понижающие его качество;
- критические, при наличии которых высок риск исключения страницы из поиска;
- фатальные, схожие с критическими, но в этом случае из поиска может быть исключен весь сайт.
Доступен блок с рекомендациями, где зафиксированы работающие методы устранения проблем.
Поисковые запросы
В разделе сосредоточены запросы, по которым осуществляется индексирование страниц. Их можно добавить в поисковик напрямую. Предоставляется статистика по запросам, которые выводят сайт в глобальную выдачу, их можно сортировать по признакам (география, устройства), кликам и показам. Можно работать с данными как за несколько дней, так и месяцев. Информация отображается в форме удобного графика, есть таблица с возможностью экспортирования.
Индексирование
Раздел позволяет получить сведения об индексации, данные собирают роботы поисковика автоматически. Сведения разбиты на подразделы:
- обход – страницы, которые не были проиндексированы по индивидуальным причинам. Есть данные об истории происходящих изменений;
- страницы – данные о проиндексированных страницах, остающихся доступными для поиска. Данные можно экспортировать или анализировать внутри сервиса, задержка по обновлениям – не более нескольких дней;
- важные – страницы, обеспечивающие приток наибольшего количество трафика.
Подразделов больше, мы рассмотрели самые часто использующиеся.
Какие еще возможности доступны
- Представление в поиске. Раздел направлен на улучшение сайта, содержит советы о том, что нужно оптимизировать или изменить для попадания в ТОП по разным критериям. Вебмастер может отслеживать прогресс по выполненным рекомендациям.
- Ссылки. Раздел для работы с внешними и внутренними ссылками. Неработающие внутренние можно удалить (они помечены как ошибка), внешние представлены в форме графика с возможностью сортировки по разным критериям, например, по времени добавления или источнику.
- Сведения о сайте. Доступно редактирование быстрых ссылок и регионального отображения, регистра домена и других данных. Это полезно для интернет-магазинов, имеющих каталог с товарными карточками.
- Турбо-страницы (интернет-магазины). Инструмент обеспечивает повышение скорости загрузки страниц на мобильных устройствах в 15 раз. Раздел содержит сведения о разработке и инструкции, позволяющие подключить сайт к технологии турбо и выполнять управление.
- Инструменты. Раздел ориентирован на легкое добавление сайтов, инструменты представляют интерес для начинающих и опытных вебмастеров. Можно выполнить проверку кода на ошибки, являющиеся неочевидными, например, определить валидность ключевых файлов.
- Настройки. В разделе сосредоточены общие параметры, облегчающие взаимодействие для пользователя: куда направлять сведения об ошибках, как передать права доступа и иное.
Читайте также:
Как выполнить предварительную настройку после добавления сайта в Вебмастер
После добавления сайта сервис осуществляет индексирование, что занимает до 1 недели. Следующий этап – выполнение настройки, которая выполняется так:
- создание карты сайта с указанием ссылки на нее. Карта необходима роботам поисковых систем для ускорения процесса индексации и ее корректности. Если вы используете CMS, то карта может быть создана автоматически: при добавлении новых страниц вы не будете вручную вносить правки;
- файл robots.txt. Индексный файл содержит ссылки на страницы, отвечающие за правильное функционирование ресурса. Системы управления содержимым могут генерировать файл некорректно, поэтому предварительно рекомендуется провести проверку с помощью специальных инструментов или вручную, если вы обладаете необходимыми знаниями;
- выполнить географическую привязку. Нужно открыть подраздел «Региональность» (находится в блоке, где собрана информация о ресурсе), а потом указать необходимый регион. Если выполняется добавление интернет-магазина, то нужно задать географию доставки. Привязка к региону – необязательная опция, она полезна для коммерческих сайтов, но не для информационных порталов, блогов и т. д.
Какие дополнительные полезные возможности есть в Вебмастере
- «Индексирование». В разделе представлено много статистических данных: последнее посещение робота, проиндексированные страницы, иное.
- «Переезд сайта». Вебмастер найдет подсказки о том, как выполнить подключение SSL-сертификата, а также осуществить переход на защищенный протокол, необходимый для повышения безопасности.
- «Переобход». Доступна установка приоритета для Яндекса на выполнение индексации после редактирования данных.
- «Товары и цены». Полезный инструмент для коммерческих ресурсов: можно рассказать о бизнесе пользователями непосредственно в поисковике, выполнить настройку выгрузки сведений о ценах, а также различных мероприятиях – от даты поставки до акций. Корректность работы достигается путем настройки выгрузки через YML.
- «Полезные сервисы». Помогает повысить узнаваемость компании, отображая контактные данные, работающие в текущее время точки, график и другие полезные сведения. Они доступны в поисковой системе при использовании релевантных ключевых слов и на картах от Яндекс.
В заключение
Яндекс.Вебмастер – функциональный сервис, позволяющий владельцу сайта держать руку на пульсе событий. Можно отслеживать аналитические и статистические данные в режиме реального времени, информировать клиентов о ценах и графике работы прямо в поисковой системе, контролировать индексацию и решать другие задачи. Сервис бесплатный, что делает его доступным как для крупного, так и для мелкого бизнеса. Подключение и настройка Вебмастера занимают минимум времени, после прохождения процедуры вы сможете эффективно контролировать, масштабировать и улучшать бизнес, параллельно расширяя присутствие в интернете и повышая лояльность клиентов.