Как остановить поисковые системы от сканирования сайта WordPress

1. Почему и кто захочет прекратить поисковики
2. Блокировка поисковых систем от сканирования и индексации вашего сайта WordPress
3. Как сделать так, чтобы ваш сайт не появлялся в результатах поиска?
4. Метод 1: Защита паролем всего сайта с помощью cPanel
5. Способ 2: защита паролем WordPress с помощью плагина

Недавно один из наших пользователей спросил нас, как они могут помешать поисковым системам сканировать и индексировать свой сайт WordPress? Существует множество сценариев, когда вы не хотите, чтобы поисковые системы сканировали ваш сайт или отображали его в результатах поиска. В этой статье мы покажем вам, как запретить поисковым системам сканировать сайт WordPress.

Почему и кто захочет прекратить поисковики

Для большинства сайтов поисковые системы являются крупнейшим источником трафика. Вы можете спросить, зачем кому-то блокировать поисковые системы?

В начале многие люди не знают, как создать среда местного развития или же промежуточный сайт , Если вы разрабатываете свой сайт в прямом эфире на общедоступных доменное имя , то вы, вероятно, не хотите, чтобы Google проиндексировал вашу страницу в режиме строительства или обслуживания.

Есть также много людей, которые используют WordPress для создания частные блоги и они не хотят, чтобы они были проиндексированы в результатах поиска, потому что они являются частными.

Также некоторые люди используют WordPress для управление проектом или же интрасеть и вы не хотели бы, чтобы ваши внутренние документы были общедоступными.

Во всех вышеперечисленных ситуациях вы, вероятно, не хотите, чтобы поисковые системы проиндексировали ваш сайт.

Распространенным заблуждением является то, что если у меня нет ссылок, указывающих на мой домен, то поисковые системы, вероятно, никогда не найдут мой сайт. Это не совсем верно.

Есть много способов, которыми поисковые системы могут найти веб-сайт, связанный в другом месте. Например:

1. Ваше доменное имя ранее могло принадлежать кому-то другому, и у него все еще есть ссылки, указывающие на ваш сайт.
2. Результаты поиска на некоторых доменах могут быть проиндексированы с вашей ссылкой на них.
3. Буквально тысячи страниц с просто списком доменных имен, ваш сайт может появиться на одном из них.

В Интернете происходит много вещей, и большинство из них не находятся под вашим контролем. Тем не менее, ваш сайт все еще находится под вашим контролем, и вы можете дать указание поисковым системам не индексировать и не следить за вашим сайтом.

Блокировка поисковых систем от сканирования и индексации вашего сайта WordPress

WordPress поставляется со встроенной функцией, которая позволяет указывать поисковым системам не индексировать ваш сайт. Все, что вам нужно сделать, это зайти в « Настройки» »« Чтение » и установить флажок« Видимость поисковой системы ».

Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего сайта:

<meta name = 'robots' content = 'noindex, follow' />

WordPress также изменяет ваш сайт robots.txt файл и добавьте в него следующие строки:

Пользователь-агент: * Disallow: /

Эти строки просят роботов (веб-сканеры) не индексировать ваши страницы. Тем не менее, поисковые системы должны принять этот запрос или проигнорировать его. Даже при том, что большинство поисковых систем уважают это, некоторые страницы или случайные изображения с вашего сайта могут быть проиндексированы.

Как сделать так, чтобы ваш сайт не появлялся в результатах поиска?

Настройки видимости WordPress по умолчанию предписывают поисковым системам не индексировать ваш сайт. Тем не менее, поисковые системы могут по-прежнему сканировать и индексировать страницу, файл или изображение с вашего сайта.

Единственный способ убедиться, что поисковые системы вообще не индексируют и не сканируют ваш сайт, - это защитить ваш сайт WordPress паролем на уровне сервера.

Это означает, что когда кто-либо пытается получить доступ к вашему веб-сайту, его просят ввести имя пользователя и пароль еще до того, как они достигнут WordPress. Это касается и поисковых систем. При неудачном входе они показывают 401 ошибку и боты отворачиваются. Вот как можно защитить паролем весь сайт WordPress.

Метод 1: Защита паролем всего сайта с помощью cPanel

Если твой Хостинг провайдер WordPress предлагает cPanel доступ для управления вашей учетной записью хостинга, затем вы можете защитить весь свой сайт с помощью cPanel. Все, что вам нужно сделать, это войти в свою панель управления cPanel и затем щелкнуть значок «Защита паролем каталогов» в разделе «Безопасность».

Далее вам нужно будет выбрать папку, в которую вы установили WordPress. Обычно это папка public_html.

Если у вас есть несколько сайтов WordPress, установленных в каталоге public_html, то вам нужно нажать на значок папки, чтобы просмотреть и выбрать папку для веб-сайта, который вы хотите защитить паролем.

На следующем экране вам нужно ввести имя для защищенного каталога и нажать кнопку «Сохранить».

Ваша информация будет сохранена, и cPanel перезагрузит страницу. После этого вам необходимо добавить авторизованного пользователя, введя имя пользователя и пароль.

Вот и все, вы успешно добавили защиту паролем на свой сайт WordPress.

Теперь, когда пользователь или поисковая система посещает ваш сайт, ему будет предложено ввести имя пользователя и пароль, которые вы создали ранее для просмотра сайта.

Способ 2: защита паролем WordPress с помощью плагина

Если вы используете управляемый хостинг WordPress Решение, иногда у вас нет доступа к cPanel.

В этом случае у вас есть возможность использовать различные плагины WordPress для защиты вашего сайта паролем. Ниже приведены два самых популярных решения:

1. SeedProd - это # ​​1 скоро и плагин режима обслуживания для WordPress, используемый на более чем 800 000 сайтов. Он поставляется с полным контролем доступа и функциями разрешений, которые вы можете использовать, чтобы скрыть свой сайт от всех, включая поисковые системы. У нас есть шаг за шагом руководство для SeedProd ,
2. Пароль защищен - это очень простой способ защитить паролем ваш сайт WordPress с помощью одного пароля (создание пользователя не требуется). Смотрите наше пошаговое руководство на как защитить паролем сайт WordPress ,

Мы надеемся, что эта статья помогла вам запретить поисковым системам сканировать или индексировать ваш сайт WordPress. Вы также можете увидеть наш конечный шаг за шагом Руководство по безопасности WordPress для начинающих.

Если вам понравилась эта статья, пожалуйста, подпишитесь на нашу YouTube канал для видеоуроков WordPress. Вы также можете найти нас на щебет а также facebook ,