Плагин robots txt для wordpress – WordPress Robots.txt optimization (+ Sitemap) – Website traffic, ranking & SEO Booster + Woocommerce — Плагин для WordPress

Содержание

Virtual Robots.txt — Плагин для WordPress

Virtual Robots.txt is an easy (i.e. automated) solution to creating and managing a robots.txt file for your site. Instead of mucking about with FTP, files, permissions ..etc, just upload and activate the plugin and you’re done.

By default, the Virtual Robots.txt plugin allows access to the parts of WordPress that good bots like Google need to access. Other parts are blocked.

If the plugin detects an existing XML sitemap file, a reference to it will be automatically added to your robots.txt file.

  1. Upload pc-robotstxt folder to the /wp-content/plugins/ directory
  2. Активируйте плагин используя меню ‘Плагины’ в WordPress.
  3. Once you have the plugin installed and activated, you’ll see a new Robots.txt menu link under the Settings menu. Click that menu link to see the plugin settings page. From there you can edit the contents of your robots.txt file.
Will it conflict with an existing robots.txt file?

If a physical robots.txt file exists on your site, WordPress won’t process any request for one, so there will be no conflict.

Will this work for sub-folder installations of WordPress?

Out of the box, no. Because WordPress is in a sub-folder, it won’t «know» when someone is requesting the robots.txt file which must be at the root of the site.

Does this plugin modify individual posts, pages, or categories?

No it doesn’t.

Why does the default plugin block certain files and folders?

By default, the virtual robots.txt is set to block WordPress files and folders that don’t need to be accessed by search engines. Of course, if you disagree with the defaults, you can easily change them.

Works great and easy to use and customise. It already set by default the directories that need to be left out of Search Engines scanning/indexing… Very happy with it!

What I saw wasn’t what I got. The XML sitemap wasn’t included in the robots.txt file, even thought this was described as a feature that should work out of the box. In addition to that, upon installing this plugin, it blocked certain directories without asking. Lastly, it inserts a line at the top of the file, promoting the plugin. That should be an optional feature that users are empowered to turn off. All in all, it offers the functionality, but falls short and disappoints in other areas.

I thought this would be simple. Sure sounds simple. But after I saved your suggested text to my brand new «virtual robots.txt», I clicked the link where it says «You can preview your robots.txt file here (opens a new window). If your robots.txt file doesn’t match what is shown below, you may have a physical file that is being displayed instead.» That new window shows text that is indeed different from the plugin’s. So I understand that to mean there’s a physical robots.txt file on my server. So which one is actually going to be used? Your FAQ offers this: Q: Will it conflict with any existing robots.txt file? A: If a physical robots.txt file exists on your site, WordPress won’t process any request for one, so there will be no conflict. If a physical file exists, WP won’t process ANY request for one? This SOUNDS like WP will ignore BOTH the physical file AND your virtual one. In which case, what’s the point? Might as well not have one, it seems to me. When I manually go to mydomain.com/robots.txt, I see what’s in the physical file, not what the plugin saved. So… is it working? I don’t know! Should I delete the physical file and assume the virtual one will work? I don’t know! Should I delete this plugin and edit the physical file manually? Most likely. 2 stars instead of 1 because I appreciate getting the suggested lines to include in my file.

(adsbygoogle = window.adsbygoogle || []).push({});

I like the fact that it’s so clean. Thanks for building it!

Awesome, a simple solution to a common issue (site content managers who want to hide certain pages from Google search results). Just a little note: in my case, the existing Sitemap created by the plugin «Google (XML) Sitemaps Generator» by Arne Brachhold wasn’t detected.

Посмотреть все 8 отзывов

«Virtual Robots.txt» — проект с открытым исходным кодом. В развитие плагина внесли свой вклад следующие участники:

Участники
1.9
  • Fix for PHP 7. Thanks to SharmPRO.
1.8
  • Undoing last fixes as they had unintended side-effects.
1.7
  • Further fixes to issue with newlines being removed. Thanks to FAMC for reporting and for providing the code fix.
  • After upgrading, visit and re-save your settings and confirm they look correct.
1.6
  • Fixed bug where newlines were being removed. Thanks to FAMC for reporting.
1.5
  • Fixed bug where plugin assumed robots.txt would be at http when it may reside at https. Thanks to jeffmcneill for reporting.
1.4
  • Fixed bug for link to robots.txt that didn’t adjust for sub-folder installations of WordPress.
  • Updated default robots.txt directives to match latest practices for WordPress.
  • Plugin development and support transferred to Marios Alexandrou.
1.3
  • Now uses do_robots hook and checks for is_robots() in plugin action.
1.2
  • Added support for existing sitemap.xml.gz file.
1.1
  • Added link to settings page, option to delete settings.
1.0
  • Первая версия.

Плагин wordpress robots.txt установка и настройка – INFO-EFFECT

На чтение 4 мин. Опубликовано

Здравствуйте !

Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt. Что это такое ? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно ? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,

например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.

Видео о файле robots.txt

 

Настраивать файл robots.txt мы будем с помощью плагина – DL Robots.txt. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.

 

плагин txt

 

 

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: DL Robots.txt. Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.

 

вкладка

 

На странице настройки файла robots.txt, вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку – Robots.txt, если файл откроется в браузере значит всё нормально.

 

robots.txt

 

Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.

 

Вот как выглядит файл robots.txt для моего сайта.

 

робот

 

Сейчас я объясню вам, что всё это значит.

В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed – это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.

 

Так же в файле указано – разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.

Смотрите, к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:

 

файл

 

 

Поняли да, то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.

 

Итак, скачать готовый файл robots.txt можно – Здесь ! Только Внимание ! ! ! укажите свой адрес сайта вместо моего.

После того как вы скачаете файл, у вас будет два варианта:

  1. Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
  2. Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt

 

24-08-2015 15-53-57

 

На этом у меня всё, если у вас остались вопросы по данной статье, то обязательно напишите мне в Обратную связь, либо оставьте комментарий к данной записи. Я всем отвечу ! Кстати, а вы проверяли файл robots.txt в Яндекс вебмастер ?

Удачи вам и до новых встреч ! 24-08-2015 15-53-57

 

Плагин Robots txt для WordPress

Здравствуйте!
Хочу предложить всем, кто использует WordPress, плагин RobotsTxT от автора блога BlogGood.ru и StepkinBLOG.RU.
Плагин RobotsTxT поможет автоматически создать файл «robots.txt» с готовым стандартным кодом, если, естественно, у вас его на сайте не было.
Также у плагина RobotsTxT есть возможность редактировать файл «robots.txt».
Плагин бесплатный и на русском языке.

Плагин RobotsTxT для WordPress

Плагин Robots txt для WordPress

Скачать плагин

Как использовать плагин RobotsTxT

1). Скачайте и установите плагин.
Для этого перейдите в админ-панели «Плагины» => «Добавить новый»:

Плагин Robots txt для WordPress

2). Далее нажмите «Загрузить плагин» и укажите на архив скаченного плагина:

Плагин Robots txt для WordPress

После активации плагина с левой стороны меню появится раздел «RobotsTxT». Перейдите по нему:

Плагин Robots txt для WordPress

3). Если у вас не был создан файл «robots.txt», тогда вы сразу увидите две кнопки:

«Создать robots.txt с готовым кодом» и «Создать robots.txt без кода».

→ Если вы нажмете на кнопку «Создать robots.txt с готовым кодом», то создастся файл «robots.txt» с готовым стандартным кодом. После этого вы сможете вносить свои изменения и сохранять.

→ Если вы нажмете на кнопку «Создать robots.txt без кода», то создастся чистый файл «robots.txt». После этого вы сможете внести свой код, сохранить и редактировать.

Плагин Robots txt для WordPress

Я думаю, вы останетесь довольны моим изобретением ))). Ведь в нем нет ничего лишнего, все просто, а огромный плюс в том, что плагин на понятном русском языке!

Скачать плагин

Понравился пост? Помоги другим узнать об этой статье, кликни на кнопку социальных сетей ↓↓↓


Последние новости категории:

Похожие статьи

Популярные статьи:

Добавить комментарий

Метки: wordpress

Multisite Robots.txt Manager — Плагин для WordPress

A Robots.txt Manager Plugin for WordPress Multisite Networks. Quickly and easily manage all robots.txt files on a WordPress Multisite Website Network.

!!! Network Enabled Multisite Installs Only !!!

This Plugin Was Created For Multisite Networks > Network Activations Only!

For Support & Bugs

Please contact us directly if you need assistance or have found a bug. The WordPress Support forum does not notify us of new support tickets, no idea why, so contact us directly.

View, Report Bugs, Contribute!

Visit this Plugin on Github! Clone/fork yourself a copy, report a bug or submit a ticket & pull request!

Features:
  • Network wide robots.txt file, shared across all sites.
  • Append extra robots.txt file data per-website Admin.
  • Create unique robots.txt files for each network Website.
  • Manage all Websites from Network Administration Area.
  • Manage a single Website through the Website Settings Admins.
  • Auto-generated Sitemap URL’s, Upload Path & Theme Path.
  • Mass update the all Websites on the Network in a single click.
  • Quickly publish preset robots.txt files across the Network.
  • Scan and clean old robots.txt file plugin data to clear out conflicts.
Quick Info:
  • The default «Network Wide» robots.txt file is NOT a live robots.txt file.
  • If you deactivate the plugin, no options are removed but the plugins robots.txt file(s) are no longer displayed.
  • If you delete this plugin, all options and settings will be removed from the database, for all Websites.

  • Get The Plugin: Download > Install > Network Activate

  • Network Access: Network Admin > Settings Tab > MS Robots.txt Link
  • Website Access: Website Admin > Settings Tab > MS Robots.txt Link
Make It Work:
  • Network Admin: Select either either with «Publish the network robots.txt file to all network websites» or «Publish the network robots.txt file to network websites you are a member of» then click the «update settings» button to publish the robots.txt files.
  • Website Admin: Modify the appended robots.txt file (or create a website unique robots.txt file) then click the «update website rules» button to publish your changes.

Arbitrary section

Understanding the Default Settings

When you first enter the plugin admin via the Network Admin, the displayed robots.txt file is the default «network only» copy.

The Network Append Marker

The marker {APPEND_WEBSITE_ROBOTSTXT} within the Network Robots.txt File is replaced by Website unique robots.txt file append rules. Use the marker in your customized Network robots.txt files to automatically append the Website robots.txt file rules when the Network is updated.

Robots.txt Files within Directories
  • This plugin WILL render robots.txt files within directories — however,

  • Search Engine Spiders only read robots.txt files found within the root directory of a Website. Spiders do not read robots.txt files within directories, such as: domain.com/PATH-or-FOLDER/robots.txt is NOT a valid location.

  • From Google: «The robots.txt file must be in the top-level directory of the host…..Crawlers will not check for robots.txt files in sub-directories.»

Testing Robots.txt Files
  • Use Google’s Webmaster Tools to Validate your Robots.txt Files…. with Google at least.:
  • Log into your Google Account and access the Log into your Webmaster Tools feature. Select a Website or Add a Website….

  • On the Webmaster Tools Home page, click the site you want.

  • Under Health, click Blocked URLs.
  • If it is not already selected, click the Test robots.txt tab.
  • Copy the content of your robots.txt file, and paste it into the first box.
  • In the URLs box, list the site to test against.
  • In the User-agents list, select the user-agents you want.
  • https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
New Website Added to Network
  • If all Websites use the saved Network default robots.txt file, click the «update setting» button to copy the default robots.txt file over to any new Websites you have.
  • Per Site: Then click the «update website rules» button to copy the default robots.txt file to this Website.
Disabling
  • Disable a Website: Within the website plugin admin, for each unique website, scroll down and click the «Disable the saved robots.txt file…» checkbox then click the submit button. This will disable the robots.txt file the Website only, making the WordPress default robots.txt file display.
  • Disable Across Network: Within the network plugin admin, scroll down and click the «Disable saved robots.txt files…» checkbox, then click the submit button.

= Presets

  • This feature allows you to quickly duplicate premade robots.txt files and a sitemap structure url to the default network robots.txt file. This action does not publish the robots.txt files to the network.
Recommended Sitemap Plugins
  • Google XML Sitemaps: https://wordpress.org/extend/plugins/google-sitemap-generator/
  • Better WordPress Google XML Sitemaps: https://wordpress.org/extend/plugins/bwp-google-xml-sitemaps/
  • Search For Others: https://wordpress.org/extend/plugins/search.php?q=multisite+sitemap

For «real» Multisite HOST Networks, use the WordPress plugin: BWP Google XML Sitemaps — This plugin will list each Websites Sitemap URL’s in the Root Network Website’s robots.txt file.

  • Network Admin — All Features Shown

  • Network Admin — Preset Robots.txt File Loaded & Published

  • Network Admin — Cleaner Tab

  • Website Admin — All Features Shown

  • Website Admin — Robots.txt File Using Append Rules

  • Website Admin — Custom Robots.txt File In Use

Install through the WordPress Admin
  • It is recommended that you use the built in WordPress installer to install plugins.
    • Multisite Networks: Network Admin > Plugins Menu > Add New Button
  • In the Search box, enter: robots.txt
  • Find the Plugin «Multisite Robots.txt Manager»
  • Click Install Now and proceed through the plugin setup process.
    • Activate / Network Activate the plugin when asked.
    • If you have returned to the Plugin Admin, locate the «Multisite Robots.txt Manager» Plugin and click the Activate link.
Upload and Install
  • If uploading, upload the /multisite-robotstxt-manager/ folder to /wp-content/plugins/ directory for your Worpdress install.
  • Then open the WordPress Network Admin:
    • Multisite Networks: Network Admin > Plugins Menu
  • Locate the «Multisite Robots.txt Manager» Plugin in your listing of plugins. (sort by Inactive)
  • Click the Activate link to start the plugin.
Q) Can the plugin update all Websites at once?

A) Yes.

Q) Does this plugin work on Non-Multisite Installs?

A) No, your install MUST be Multisite/Network enabled.

Q) Does this plugin work on WordPress.COM (free hosted) Websites?

A) No.

Q) Can I activate this plugin within a Websites wp-admin?

A) No, only within the Network Admin.

Q) Do I have to access each Website to manage the robots.txt file?

A) No, the Main Admin Area for the MS Robots.txt Manager is located within the Network Admin.

Q) Can I add my own robots.txt file?

A) Yes.

Q) Can every Website have a different robots.txt file?

A) Yes.

Typically, each Website uses the Network robots.txt file as the ‘base’ robots.txt file. Websites can then inject unique robots.txt file rules into the Network robots.txt file.

However, within the Admin Area for each website, scroll down and click the «Disable the network robots.txt file…» checkbox. Allowing you to fully customize the robots.txt file.

You can also: Disable the «network robots.txt file,» allowing you to manually add your own robots.txt file to each Network Website.
You can also: Save/publish a blank robots.txt file from the network admin.

Q) Does this plugin add Sitemap links to the robots.txt file?

A) Yes.

Q) Can I add multiple or custom sitemap urls?

A) Yes.

Q) Does this plugin add the Sitemap URL to the robots.txt file?

A) Yes & No.

No, the Free Plugin only generates the Sitemap URL, you must manually add to the robots.txt file.

Yes, the Pro Plugin automatically adds the Sitemap URL to robots.txt files for you.

Q) Does this plugin add the Theme Path to the robots.txt file?

A) Yes & No.

No, the Free Plugin only generates the Theme Path, you must manually add to the robots.txt file.

Yes, the Pro Plugin automatically adds the Theme Path to robots.txt files for you.

Q) Does this plugin add the Upload Path to the robots.txt file?

A) Yes & No.

No, the Free Plugin only generates the Upload Path, you must manually add to the robots.txt file.

Yes, the Pro Plugin automatically adds the Upload Path to robots.txt files for you.

Q) Does the robots.txt file render for non-root domains / Websites with a path?

A) Yes, however…. Search Engine Spiders do not read robots.txt files within a directory, robots.txt files for non-mapped domains are for for error checking purposes only.

Q) I run a real Multisite Network, all Sites are in a Path, don’t they need a robots.txt file?

A) From what I understand, no…. The root / network Website will contain the only robots.txt file.

Q) My robots.txt files are 404 — file not found, what’s wrong?

A) The issue is due to an option called «rewrite rules» missing the robots.txt entry.

Visit the Network Admin for the plugin, then click the Cleaner tab. If the Rewrite Rule an error message and a unique button will appear allowing you scan and update the rule for all Websites.

Q) The incorrect robots.txt file is displaying, what’s wrong?

A) Typically this issue is due to either an a different robots.txt file plugin is active or that plugins robots.txt file data was never deleted when the plugin was removed.

Visit the Network Admin for the plugin, then click the Cleaner tab. Click the «scan for old data» button to check for left over plugin data by other robots.txt file plugins.

Q) Can I use other robots.txt file plugins with the MS Robots.txt Manager Plugin?

A) No, multiple plugins will cause display issues with the robots.txt files.

Q) Can I use other Sitemap Plugins to add more Sitemap URL’s to the robots.txt files?

A) Yes, however they typically only work for the default WordPress robots.txt file.

Q) Does the plugin remove the settings when it is disabled or deleted?

A) No! However you can disable the plugin and delete settings within the plugin admin area.

I tried pro version for add robots.txt for my multisite but i does not work and the support does not respond.

Great multisite plugin for robots.txt

This plugin is two versions and two months out-of-date. A more recent stable version, 1.0.14, released and tested for WordPress version 4.8.3, is available on GitHub. Curiously, the documentation on GitHub for this plugin even recommends installing the plugin thru WordPress.org.

Cool, but I want to add Host directive for ever site of multisite system.

Посмотреть все 14 отзывов

«Multisite Robots.txt Manager» — проект с открытым исходным кодом. В развитие плагина внесли свой вклад следующие участники:

Участники
2.1.0
  • Released: 2019-10-06
  • Changelog: https://github.com/ChrisWinters/multisite-robotstxt-manager/blob/master/CHANGELOG.md#210

Файл robots.txt для WordPress — плагин для редактирования файла

robots.txt

Сделать правильный файл robots.txt для WordPress очень важно. Благодаря ему поисковики будут знать — что можно и что нельзя индексировать. То есть в поисковой выдаче будет только то, что нужно, без дублей страниц и внутренностей WordPress.

Пример файла robots.txt

User-Agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /?s=
Disallow: *&s=             
Disallow: /search          
Disallow: /author/         
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /*/*.js             
Allow: /*/*.css            
Allow: /wp-*.png           
Allow: /wp-*.jpg           
Allow: /wp-*.jpeg          
Allow: /wp-*.gif           
Allow: /wp-*.svg           
Allow: /wp-*.pdf

Sitemap: https://site.ru/sitemap_index.xml

Раньше для Яндекса необходима было  директива Host, которая обозначала главное зеркало сайта. Теперь в ней нет надобности, для определения главного зеркала сайта используется 301 редирект.

Как добавить файл robots.txt в WordPress

Можно скачать наш плагин Robots.txt Editor:

 

Либо добавить в файл functions.php следующий код:

add_filter( 'robots_txt', 'add_robotstxt' );
function add_robotstxt($text){
    $site_url = get_site_url();
    $text .= "User-Agent: *
Disallow: /cgi-bin 
Disallow: /wp-
Disallow: /?s=
Disallow: *&s=             
Disallow: /search          
Disallow: /author/         
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed 
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /*/*.js             
Allow: /*/*.css            
Allow: /wp-*.png           
Allow: /wp-*.jpg           
Allow: /wp-*.jpeg          
Allow: /wp-*.gif           
Allow: /wp-*.svg           
Allow: /wp-*.pdf 

Sitemap: $site_url/sitemap_index.xml";

return $text;
}

Данный способ работает и в мультисайтовой версии WordPress. Для каждого сайта сети будет отображаться правильный Sitemap. Sitemap будет таким, если используется плагин Yoast SEO. 

Файл robots.txt не является гарантией, что закрытые в нем страницы не будут проиндексированы, поэтому дубли контента нужно дополнительно скрыть с помощью 301 редиректа в файле .htaccess:

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^feed$ /$1 [R=301,L]
RewriteRule (.*)/feed$ /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Благодаря плагину Yoast SEO файл .htaccess можно отредактировать из админки WordPress (пункт меню плагина «Инструменты»-> «Редактор файлов»).

Обновлено: 17.06.2019

Вам помогла эта статья? Оцените! robots.txt Загрузка…

как создать правильный файл robots txt для wordpress

Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Начальная оптимизация начинается всегда с роботс потому, что это самый быстрый и дешевый способ устранить все косяки на проекте и направить индексацию сайта поисковыми системами в нужном направлении.

Пример, где должен лежать robots:


http://адрес_сайта/robots.txt

Правильный robots.txt для WordPress


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /20*/*

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Дополнения к роботс

Если у вас меньше трех авторов, или в шаблоне не предусмотрена страница автора, то обязательно добавьте эту строчку в ваш robots.txt

  • Когда авторов более трех, то закрывать эти страницы ненужно, так как это будет служить дополнительным распределением веса межу страницами, а вот если их меньше — возникает опасность, дублированного контента, так как страницы авторов будут схожи с главной страницей или страницами разделов.
  • Еще возникает проблема, когда в шаблоне нет ссылки на страницу автора, страница может попасть в индекс, но не не будет участвовать в общей перелинковке и поисковые системы сочтут ее некачетвенной и ничего хорошего это сайту точно не даст

Disallow: /author

В случае, если главная страница у вас на сайте является «страница», а не лента записей — то нужно добавить обязательно эту строчку в ваш robots.txt — иначе одинаковый контент будет на двух странцах


Disallow: /page/*

 

Разъяснения по роботс

Эти строчки закрывают технические страницы — эо делается больше для подстраховки, так как поисковые системы и так не индексируют эти страницы, если сервер правильно настроен


Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/

Трекбэки — это уведомления, которые приходят на страницу вашего сайта в комментарии, когда кто либо на каком то другом сайте поставил на вашу страницу ссылку. Полезного для поисковых систем в этом ничего нет, так что стоит их закрыть


Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

Редко, но встречаются дубли страниц в RSS и попадают в индекс из-за установленных плагинов.


Disallow: */*/feed
Disallow: */feed

Результаты поиска всегда нужно закрывать: поисковые системы считают это мусорными страницами. Сами они никогда не войдут в индекс, но если на них кто-то поставит ссылку, то это не исключено.


Disallow: /*?*

WordPress по старинке популярен как блоговый движок и некоторые блоггеры выводят архивы записей, а не качественно сделанный шаблон будет генерировать дубли архивных записей — так что стоит предостиречься и закрыть их от индексации


Disallow: /20*/*

Карта сайта для поисковых систем или любых других ботов, которых в cети сейчас десятки уже


Sitemap: http://site.ru/sitemap.xml

Host и Sitemap являются межсекционными директивами, которые можно использовать в любом месте в роботс. Мы разделяем их пробелом в общем роботс, чтобы другие боты не посчитали наш файл ошибочным.

 

Настройка роботс

Настроить robots txt для WordPress можно 2 способами:

  1. с помощью любого ftp редактора: Total Commander, FileZilla, CuteFTP, WinSCP, FlashFXP, SmartFTP, Core FTP;
  2. с помощью плагинов.

 

Плагины WordPress для настройки robotstxt

Узко функциональные плагины, которые позволяют работать только с роботс
WP Robots Txt
WordPress Meta Robots

Комплексные SEO плагины для WordPress
SEO Ultimate — один из старейших плагинов
WordPress SEO by Yoast — самый популярный плагин по количеству установок
SemanticWP SEO — мы намучались с бесплатными версиями и разработали свой плагин

Правильный файл robots.txt для WordPress

robots.txt является файлом, специально предназначенным для поисковых систем. В нем указывается, какие части сайта нужно выдавать в поиске, а какие нет. Важность robots.txt неоценима, так как он позволяет нацелить поисковую систему на попадание нужного контента сайта в выдаче результатов. Например, при запросе в Гугле “купить стиральную машину” конечному покупателю незачем попадать на страницу администрирования магазина. В этом случае несомненно важно будет пользователю перейти сразу в раздел “Стиральные машины”.

Как добавить robots.txt на сайт?

Если Вы используете плагин Clearfy Pro – просто выставьте галочку напротив Создать правильный robots.txt в разделе SEO на странице настроек плагина. Ничего вставлять из этой статьи Вам не нужно, все реализовано в плагине.

Добавить файл можно несколькими способами. Наиболее удобный для пользователя – по FTP. Для этого необходимо создать сам файл robots.txt. Затем, воспользовавшись одним из FTP-клиентов (например, FileZilla), загрузить robots.txt в корневую папку сайта (рядом с файлами wp-config.php, wp-settings.php) Следует отметить, что перед загрузкой файла нужно узнать у Вашей хостинг-компании IP-адрес, за которым закреплен Ваш сайт, имя FTP-пользователя и пароль.

Где находится robots.txt

После успешной загрузки robots.txt, перейдя по адресу http://sitename.com/robots.txt, Вы сможете посмотреть актуальное состояние файла.

Важным является тот факт, что, изменив файл robots.txt, вы не сразу заметите результаты. Для этого может понадобится от одного до нескольких месяцев (это зависит от поисковой системы). Правильным вариантом является составление корректного файла уже на стадии разработки сайта.

Пример корректного robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Host: sitename.com

** Вместо sitename.com следует указать название Вашего сайта

Плагины для robots.txt

Для облегчения создания robots.txt в WordPress существуют специальные плагины. Некоторые из них: WordPress Robots.txt File, DL Robots.txt, Yoast SEO.

Рассмотрим создание файла robots.txt на примере одного из самых мощных SEO-плагинов Yoast SEO.

После установки и активации плагина необходимо в админ-панели выбрать пункт SEO->Консоль. На вкладке Возможности перейти в раздел Дополнительные настройки страницы, передвинуть ползунок в состояние Включено и сохранить изменения. В админ-панели появятся несколько дополнительных пунктов. Далее необходимо перейти по пункту SEO->Инструменты, где выбрать Редактор файлов. Далее на странице редактора необходимо нажать на кнопку Создать файл robots.txt, в редакторе вставить вышеописанный код и нажать Сохранить изменения в robots.txt.

Создание robots.txt в Yoast SEO

Если Вам понравилась статья — поделитесь с друзьями

Author: admin

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *