Как удалить из яндекса страницу – Как удалить ненужные страницы из индекса Яндекса и Google. Удаляем «сопли» в поиске

Содержание

Как удалить страницу из поиска — Онлайн-курсы Яндекса

1. Немного теории

Многих владельцев сайтов интересует, как удалить веб-страницу из поиска. Причины для этого бывают разные. Например, нужно убрать из поиска страницу, которой уже нет на самом сайте. Или в поиск попала конфиденциальная информация, которую владелец сайта забыл закрыть с помощью файла robots.txt. Давайте разберемся, как поступить в том и в другом случае.

Убрать страницу из поиска, не удаляя её с сайта, можно несколькими способами.

Например, указать в файле robots.txt, что страница запрещена к индексированию. Другой способ — закрыть контент страницы с помощью мета-тега noindex. При очередном обходе робот обнаружит, что страницу нельзя индексировать, и уберёт её из поисковой базы. О том, как правильно сделать запись в robots.txt, рассказано в уроке «Как управлять индексированием сайта».

Часто бывает так, что страница удалена с сайта, но по-прежнему доступна в поиске. Это значит, что поисковый робот ещё не добрался до страницы и не знает, что она удалена. Вы можете попросить робота зайти на эту страницу — с помощью инструмента «Удалить URL» на сервисе Яндекс.Вебмастер. Этот инструмент можно использовать и в том случае, если вы закрыли страницу для поисковой системы тегами или в файле robots.txt.

Инструмент «Удалить URL» позволяет сообщить роботу, что страница изменилась и её нужно переобойти как можно скорее. Например, вы можете сообщить роботу, что страница была удалена или запрещена к индексированию.

Сделать это очень просто. Достаточно указать адрес страницы и нажать на кнопку «Удалить». Страница исчезнет из поиска, когда поисковый робот убедится в том, что страница удалена (то есть возвращает код 404) или запрещена к индексированию.

Совет

Если на сайте удалено сразу много страниц, то робот будет обнаруживать их постепенно — по мере обхода. Чтобы эти страницы быстрее исчезли из поиска, можно закрыть их для индексации в файле robots.txt.

Как удалить страницу из поиска Яндекса

Автор Алексей На чтение 4 мин. Опубликовано

14.08.2018

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена.

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

  • Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
  • Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

  • Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
  • Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

  • Если ваш сайт не добавлен в Яндекс.Вебмастер:

    1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
    2. В поле введите адрес страницы, например http://ururu.com/ololo.html.
    3. Нажмите кнопку Удалить.

    Удалить страницу из поиска Яндекс

    Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно.

  • Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:

    1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
    2. Установите переключатель в положение По URL.
    3. В поле введите адрес страницы, например http://ururu.com/ololo.html.
    4. Нажмите кнопку Удалить.

    Удалить страницу из поиска Яндекса

    Вы можете указать до 500 адресов одного сайта в сутки.

Удалить отдельные страницы сайта из поиска Яндекса

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.

В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.

Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.

  1. Установите переключатель в положение По префиксу.
  2. Укажите префикс:
    Что удалить Пример
    Каталог сайта http://example.com/catalogue/
    Все страницы сайта http://example.com/
    URL с параметрами http://example.com/page?

    Можно отправить до 20 указаний для одного сайта в сутки.

  3. Нажмите кнопку Удалить.

Удалить страницу из поиска Яндекса - префикс

Статусы после отправки URL

Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и наличие запрета на индексирование страницы в файле robots.txt. Проверка может занимать несколько минут.
«Удалена» В течение часа после проверки страница будет удалена из результатов поиска.
«Отклонено»
  • В файле robots.txt отсутствует запрет на индексирование.
  • При обращении к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Как вернуть страницу в результаты поиска

Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Удаление страниц из индекса поисковых систем Яндекс и Google

Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска, которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.

Удалить страницу из результатов поиска

В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.

Почему закрытые и удаленные страницы есть в поиске

Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами файла robots.txt или мета-тегом.

Несуществующие страницы находятся в поиске по следующим причинам:

  • Самое банальное — страница удалена и больше не существует.
  • Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
  • Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится менять структуру страниц на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
  • Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или редирект с кодом 3хх.

Лишние страницы появляются в индексе при следующих условиях:

  • Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для вебмастеров.
  • Они были проиндексированы до того как были закрыты доступными способа.
  • На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.

Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от апдейтов или частоты посещения сайта роботом.

Как удалить страницу из поисковой системы Яндекс

Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.

Удалить URL из Яндекс

Главное условие успешного запроса на удаление:

  • страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
  • при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Как удалить страницу из поисковой системы Google

Для удаления страниц из Гугла поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.

Удалить URL адрес из Google

Перед нами специальная форма с помощью которой создаем новый запрос на удаление:

Запрос на удаление страницы из Google

Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…

Причина удаления страницы из поисковой системы

Из представленных вариантов нам доступно:

  • удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
  • удаление только страницы из кэша;
  • удаление каталога со всеми входящими в него адресами.

Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для Яндекса. Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.

Как удалить ненужные веб страницы из поиска Яндекса — блог Семантики

Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Untitled-2

Чтобы добиться поставленных целей в работе с сайтом нужно учесть массу различных тонкостей. Во время оптимизации по невнимательности случается, что в индексе оказывается информация не для глаз серферов просторов интернета. Логично, что от контента подобного рода нужно избавляться. В этой статье мы разберем рядовые случаи возникновения такой необходимости и, конечно же, узнаем как удалить страницу из поиска Яндекса.

Причины удаления веб страниц из поиска

Мы не станем разбирать проблемы гигантов, как, например, история с известным мобильным оператором, название которого я афишировать не стану, лишь скажу, что он начинается на «мега» и заканчивается на «фон». Когда у последнего проиндексировались и попали в поиск страницы со смс-сообщениями пользователей. Также не станем заострять внимание на проблемах интернет-магазинов, у которых периодически можно найти личные данные пользователей и подробности их заказов в открытом доступе. Ну и так далее.

Мы разберем наболевшие проблемы обычных предпринимателей, которые хотят решить свои задачи:

  1. Дубли. Дублированный контент мешает продвижению сайтов, это ни для кого не секрет. Причины возникновения могут быть разными. Подробнее можете посмотреть в нашей статье.
  2. Информация утратила свою актуальность. К примеру, была какая-то разовая акция, да прошла. Страницу нужно удалить.
  3. «Секретики». Данные, которые не для всех. Вспоминаем ситуацию с оператором связи. Такие странички необходимо скрывать от зевак.
  4. Смена URL адресов. Будь то переезд сайта или настройка ЧПУ, в любом случае придется избавляться от старых страниц и предоставлять поисковику новые.
  5. При переезде на новое доменное имя вы решили вообще удалить сайт из поисковика Яндекса, чтобы не пострадала уникальность контента.

На самом деле причин удалить сохраненные страницы из поисковых систем может быть кратно больше. Список нужен лишь для иллюстрирования типовых проблем.

 

Как удалить страницу из поисковика Яндекса

Есть два пути развития событий. Долгий ( но ленивый) и ускоренный (придется чуть-чуть пошевелиться).

 

  • Долгий способ

Если время не торопит и есть дела поважнее, то можно просто удалить страничку через систему управления контентом (она же админка или CMS). В таком случае, переходя по уже несуществующему URL адресу, поисковой робот обнаружит, что сервер отвечает ему кодом 404 — страница не существует, а значит ее нужно выкинуть из поиска, что со временем случиться без вашего вмешательства.

  • Ускоренный способ

Своеобразное продолжение первого. После удаления из CMS, нужно воспользоваться сервисом Яндекса Удалить URL. Это приведет к оперативной реакции со стороны ПС и в ближайшее время ненужная информация пропадет из индекса.

56208b867f

Но что, если нужно удалить страницу из поисковика, оставив её при этом на самом сайте?

 

Как удалить страницу в поисковике Яндекса не удаляя ее с сайта

Теперь нам нужно сохранить информацию на сайте, но не дать поисковикам демонстрировать ее пользователю ни при каких запросах. Для этого нужно:

 

Во-первых, закрыть страницу от индексации с помощью файла robots. txt, уверен, с ним вы уже сталкивались. Внутри файла необходимо прописать следующее:

User-agent: Yandex
Disallow: /i-hate-my-page

Это закроет от индексации контент, URL адрес которого www.домен.ru/i-hate-my-page

 

Во-вторых, так как robots. txt содержит не жесткий набор правил для робота, а скорей носит рекомендательный характер, то обычного Disallow может быть недостаточно. Поэтому для пущей уверенности пропишите в html коде страницы следующее:

<head>
<meta name=»robots» content=»noindex, nofollow» />
</head>

Обратите внимание, что теги head тут не для красоты. Мета-тег роботос должен располагаться между тегами <head>.

Кульминацией станет добавление адреса в уже знакомый сервис Яндекса Удалить URL, которым мы уже умеем пользоваться.

 

Как удалить сайт из поисковика Яндекса

Для того чтобы полностью удалить сайт из поисковой базы нужно пройти те же пункты, что и для удаления страницы, но с некоторыми нюансами.

  • Закройте весь сайт от индексации добавив в файл robots. txt строчки
    User-agent: Yandex
    Disallow: /
  • Удалите страницы с помощью, уже родного сервиса Удалить URL.
  • Избавьтесь от всех ссылок ведущих на ваш сайт.
  • Ждите переиндексации.

 

Если же сайт вам больше совсем ненужен, удалите все файлы, которые находятся на хостинге и забудьте об этом. В крайнем случае, обратить в службу поддержки ПС.

 

Итог

Хочется сказать, что процедура удаления сохраненных страниц из поиска не очень трудная и порой бывает просто необходимой. Надеюсь, владельцы сайтов, которые не желают сильно погружаться в подробности, сумеют найти в этой статье ответ на вопрос как удалить ненужные веб-страницы из поиска Яндекс.

Надеюсь, что было полезно!

Как удалить страницу из Яндекса или Google поиска? 5 способов

удалить страницу из поиска Яндекса-Googleудалить страницу из поиска Яндекса-Google

  Удаление документа из поисковиков

Обычно при поисковом продвижении сайта все стараются как можно быстрее «загнать» документ в индекс поисковика. Но бывает и так, что в поиске оказывается совсем не нужная страница. Например, с какими-либо конфиденциальными данными или с устаревшим содержанием.

Кроме того, если при создании сайта вы не настроили файл Роботс.тхт, то в поиске Гугла, Yandex и других ПС могут оказаться страницы-дубли. Особенно характерно это для блогов на WordPress. Данная CMS традиционно создаёт множество документов с идентичным контентом.

Если «нехорошие» страницы попали в поисковую выдачу, то нужно произвести их удаление. На данный момент сделать это можно 5-ю способами, причём 5-й не подействует без первых 4-х.

Как удалить страницу из Яндекса

1-й способ — сделать так, чтобы данной страницы вообще не было на сайте. Тогда поисковик, при последующем к ней обращении, выкинет её из своего индекса.

Это просто осуществить, если страницы физические, а не динамические. Если они динамические (т.е. генерируются сервером — как на большинстве современных движков), то фактически их нет, поэтому и удалять нечего. В данном случае необходимо, чтобы при обращении к этой странице сервер выдавал бы т.н. код 404 (Not Found):

HTTP/xx 404 Not Found

Большинство современных CMS (в том числе, и WordPress) делают это корректно для удалённых страниц.

Такой код сообщает поисковому роботу, что документ отсутствует и надо выкинуть его из индекса.

Стоит сразу добавить, что удаляются страницы из Яндекса не так быстро, как хотелось бы. Обычно происходит это за 1 и более обновлений выдачи. Нужно подождать.

2-й способ — обнаружив, что ненужные документы попали в SERP, необходимо проверить файл Robots.txt и запретить эти документы к индексации (директивой Disallow или Clean-param). Со временем ПС удалит их из поиска.

3-й способ — добавить в код «нежелательных» документов мета-тег Robots. Как это делать почитайте в статье про meta name robots.

Как удалить страницу из индекса Гугла

Для Google подходят все 3 вышеперечисленных способа.

4-й способ — дополнительно для данного поисковика можно использовать специальный HTTP-заголовок X-Robots-Tag. Суть этого метода в том, что в HTML-коде документа нет следов о том, что изменён характер его обхода поисковым роботом.

X-Robots-Tag представляет из себя обычный заголовок, который на PHP можно задать так (в данной статье не буду подробно расписывать про этот метод):

— такая запись аналогична простановке в HTML-коде документа мета-тега meta name=»robots» content=»noindex,nofollow».

Обратите внимание, что этот приём действует только для Гугла (возможно, ещё Bing и кого-то ещё). Удалить страницу из Яндекса таким способом не получится!

Ну и 5-й способ — исключение страниц из поиска Yandex b Google через специальные сервисы самих ПС.

Только что «свалилось» видео по теме от Гугла (25 июня):

Для Яндекс — можно перейти по этому адресу http://webmaster.yandex.ru/delurl.xml и ввести нужный URL.

Как я и писал выше, данный способ подействует лишь при выполнении одного из 4-х условий, указанных выше. Иначе конкуренты удаляли бы страницы сайтов друг друга:

Удалить URL из ЯндексУдалить URL из Яндекс

  Не удаляется :)

:)

В Google аналогичная операция производится в аккаунте вебмастера — https://www.google.com/webmasters/tools/. Для этого слева выбираем «Оптимизация — Удалить Url-адреса«:

Удаление URL из GoogleУдаление URL из Google

  Исключение URL из Гугла

и создаём новый запрос:

Запрос на удаление Url из GoogleЗапрос на удаление Url из Google

  Запрос на удаление URL из Google

Удаление ссылок из индекса Гугла происходит гораздо быстрее, нежели из Яндекса. Там обычно всё быстрее.. Можно ознакомиться также с официальным руководством о продвижении сайта в Google.

Ну а вообще, чтобы не приходилось проделывать все эти действия, лучше сразу продумать, какие разделы и отдельные страницы сайта закрыть от индексации, а какие — оставить роботам.

Запрос на удаление Url из GoogleLoading…
Запрос на удаление Url из Google

Удаление профиля из результатов поиска

Если вы не хотите, чтобы ваш профиль находился в поисковых системах, вы можете убрать его из открытого доступа. В большинстве социальных сетей доступна настройка уровня доступа к профилю — или профиль доступен для всех без ограничений, или только для ограниченного круга лиц. Иногда есть возможность ограничить именно доступ поисковых роботов к странице.

Если вы установите в настройках уровень доступа только для ограниченного круга лиц, то поисковый робот не будет индексировать ваш профиль.

Ниже приведены способы убрать свой профиль из открытого доступа в разных социальных сетях. Если у вас возникнут проблемы, пожалуйста, обращайтесь в службу поддержки соответствующей социальной сети. К сожалению, мы не храним исчерпывающую информацию о способах закрытия профилей всех социальных сетей.

  1. ВКонтакте
  2. Facebook
  3. Одноклассники
  4. Мой Круг
  5. Живой Журнал
  6. LinkedIn
  7. Твиттер
  8. GooglePlus

Настройки приватности можно изменить на соответствующей странице настроек ВКонтакте. Для параметра Кому в интернете видна моя страница выберите значение Всем, кроме поисковых сайтов.

Чтобы закрыть профиль, зайдите в Facebook на страницу Настроек конфиденциальности и в разделе Хотите ли вы, чтобы в поисковых системах была ссылка на вашу Хронику? сбросьте флажок Разрешить поисковым системам давать ссылку на вашу Хронику.

Чтобы закрыть профиль на Одноклассниках, зайдите в настройки публичности (http://www.odnoklassniki.ru/publicitySettings) и в графе Конфиденциальность напротив надписи Открыть страницу для поисковых систем выберите нет. Сохраните настройки.

Чтобы закрыть профиль в сети Мой Круг, зайдите в настройки (http://moikrug.ru/settings/privacy) и разрешите показывать ваш профиль только пользователям Моего Круга.

Чтобы закрыть профиль в Живом Журнале, зайдите в настройки (http://www.livejournal.com/manage/settings/?cat=privacy) и установите флажок Минимизировать попадание моего журнала в поисковые системы.

Настройки приватности можно изменить на соответствующей странице https://www.linkedin.com/settings. Чтобы закрыть профиль, необходимо перейти по ссылке Edit your public profile, а дальше выбрать Make my public profile visible to *no one*.

В социальной сети Твиттер не существует возможности скрыть профиль от поисковых систем. Имеется лишь возможность деактивировать аккаунт. Для этого необходимо выбрать соответствующий пункт на странице https://twitter.com/settings/account.

Управление настройками приватности в GooglePlus осуществляется на странице https://www.google.com/settings/privacy. Необходимо выбрать пункт Edit visibility on profile.

5 способов удалить страницу из поиска Яндекса или Google — Devaka SEO Блог

Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…

Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.

5 способов удаления страниц из поисковых результатов

1. 404 ошибка

Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.

HTTP/1.1 404 Not Found

В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.

Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.

2. Файл robots.txt

Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.

Закрыть раздел администраторской панели от попадания её в индекс поисковиков:

User-Agent: *
Disallow: /admin/

Закрыть определенную страницу от индексации:

User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска

В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.

Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.

3. Мета-тег robots

Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.

<meta name="robots" content="noindex,nofollow" />

Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.

4. Заголовки X-Robots-Tag

Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.

Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.

X-Robots-Tag: noindex, nofollow

В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).

5. Ручное удаление из панели для вебмастеров

Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.

Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/

Скриншот страницы создания запросов на удаление ненужных страниц из поиска Google в его панели для вебмастеров

Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.

Полезные ссылки по теме

5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.

Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.

Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.

Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.

Author: admin

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *