Делаем правильный robots.txt и sitemap.xml » комментарииhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/2015-02-19T03:39:33+03:00Блог Михаила Андреева, ака adw0rdСергей на "Делаем правильный robots.txt и sitemap.xml"
2015-02-19T03:39:33+03:00Сергейhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6414Добрый день) Очень нужна ваша помощь). Сейчас разработку портала. Нам нужно придумать модуль управления robots.txt в связке с sitemap.xml. Необходимо описание данного модуля и возможности. Вот с описанием данного модуля и его возможностями проблемка ((, сможете помочь за оплату???. Также хотелось бы у вас проконсультироваться, что лучше всего включать в…
<p>Добрый день)<br />
Очень нужна ваша помощь).<br />
Сейчас разработку портала.<br />
Нам нужно придумать модуль управления robots.txt в связке с sitemap.xml.<br />
Необходимо описание данного модуля и возможности. </p>
<p>Вот с описанием данного модуля и его возможностями проблемка ((, сможете помочь за оплату???.<br />
Также хотелось бы у вас проконсультироваться, что лучше всего включать в ленту RSS???</p>
Andrei на "Делаем правильный robots.txt и sitemap.xml"
2015-01-12T20:26:55+03:00Andreihttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6411Помогите пожалуйста!!! Сегодня поставил плагин для генерации сайтмап googl sitemap, посл установки и генерации в конце каждой страницы после значка счетчика лайф интернет появилась вот это - < /a> что это за чтука и как ее убрать
<p>Помогите пожалуйста!!!<br />
Сегодня поставил плагин для генерации сайтмап googl sitemap, посл установки и генерации в конце каждой страницы после значка счетчика лайф интернет появилась вот это - < /a> что это за чтука и как ее убрать</p>
Andrei на "Делаем правильный robots.txt и sitemap.xml"
2015-01-12T20:26:39+03:00Andreihttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6410Помогите пожалуйста!!! Сегодня поставил плагин для генерации сайтмап googl sitemap, посл установки и генерации в конце каждой страницы после значка счетчика лайф интернет появилась вот это - < /a> что это за чтука и как ее убрать
<p>Помогите пожалуйста!!!<br />
Сегодня поставил плагин для генерации сайтмап googl sitemap, посл установки и генерации в конце каждой страницы после значка счетчика лайф интернет появилась вот это - < /a> что это за чтука и как ее убрать</p>
adw0rd на "Делаем правильный robots.txt и sitemap.xml"
2013-06-30T19:31:59+04:00adw0rdhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6236Да, полностью Disallow: /category/*/*
<p>Да, полностью</p>
<pre><code>Disallow: /category/*/*
</code></pre>
Артур на "Делаем правильный robots.txt и sitemap.xml"
2013-06-30T11:26:34+04:00Артурhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6235То есть надо убрать это - (//) или полностью - (Disallow: /category//) ?
<p>То есть надо убрать это - (/<em>/</em>) или полностью - (Disallow: /category/<em>/</em>) ?</p>
adw0rd на "Делаем правильный robots.txt и sitemap.xml"
2013-06-30T09:55:01+04:00adw0rdhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6234Это не ошибка. Вы сами запретили: Disallow: /category/*/*
<p>Это не ошибка. Вы сами запретили:</p>
<pre><code>Disallow: /category/*/*
</code></pre>
Артур на "Делаем правильный robots.txt и sitemap.xml"
2013-06-30T02:34:26+04:00Артурhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6233Привет,пишет такую ошибку - http:// www.piecework.ru/category/c-chego-nachat/ запрещен правилом /category// подскажите пожалуйста в чем ошибка? Вот сам код User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow:…
<p>Привет,пишет такую ошибку - http:// www.piecework.ru/category/c-chego-nachat/ запрещен правилом /category/<em>/</em> подскажите пожалуйста в чем ошибка?<br />
Вот сам код</p>
<pre><code>User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: piecework.ru
Sitemap: http://www.piecework.ru/sitemap.xml
Sitemap: http://www.piecework.ru/sitemap.xml.gz
</code></pre>
adw0rd на "Делаем правильный robots.txt и sitemap.xml"
2012-12-29T22:14:44+04:00adw0rdhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6008Ну может им не нравится скорость с которой генерируется sitemap? Ничего другого подозрительного я не увидел
<p>Ну может им не нравится скорость с которой генерируется sitemap? Ничего другого подозрительного я не увидел</p>
Игорь на "Делаем правильный robots.txt и sitemap.xml"
2012-12-29T15:14:13+04:00Игорьhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-6007Использую компонент Xmap (Joomla2.5). После настройки беру со строки браузера ссылку (http://filter-tver.com/component/xmap/xml?option=com_xmap&view=xml&id=1&filter_showtitle=1&filter_showexcluded=1) и заношу её в robot.txt (Sitemap: http://filter-tver.com/component/xmap/xml?option=com_xmap&view=xml&id=1&filter_showtitle=1&filter_showexcluded=1) В результате: - "Валидатор файлов Sitemap" (на яндексе) пишет: Результаты проверки Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа. Не удалось загрузить Sitemap Не удалось загрузить указанный файл -…
<p>Использую компонент Xmap (Joomla2.5). После настройки беру со строки браузера ссылку (http://filter-tver.com/component/xmap/xml?option=com_xmap&view=xml&id=1&filter_showtitle=1&filter_showexcluded=1) и заношу её в robot.txt (Sitemap: http://filter-tver.com/component/xmap/xml?option=com_xmap&view=xml&id=1&filter_showtitle=1&filter_showexcluded=1)<br />
В результате:<br />
- "Валидатор файлов Sitemap" (на яндексе) пишет:<br />
Результаты проверки<br />
Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.<br />
Не удалось загрузить Sitemap<br />
Не удалось загрузить указанный файл<br />
- Гугл пишет:<br />
При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашимправилам и находится в указанном местоположении, а затем отправьте его повторно.<br />
Что я делаю не правильно?</p>
Иван на "Делаем правильный robots.txt и sitemap.xml"
2012-01-09T14:44:25+04:00Иванhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5576User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /index2.php?option=com_content&task=emailform Disallow: /?sl Disallow: /index.php?* Disallow: .pdf$ Disallow: /name.php?action=print Disallow: /trackback Disallow: /rss.html Disallow: /*atom.html Host: ads-74.ru…
<p>User-agent: Yandex<br />
Disallow: /administrator/<br />
Disallow: /cache/<br />
Disallow: /components/<br />
Disallow: /editor/<br />
Disallow: /help/<br />
Disallow: /includes/<br />
Disallow: /installation/<br />
Disallow: /language/<br />
Disallow: /libraries/<br />
Disallow: /media/<br />
Disallow: /modules/<br />
Disallow: /plugins/<br />
Disallow: /templates/<br />
Disallow: /tmp/<br />
Disallow: /xmlrpc/<br />
Disallow: /index2.php?option=com_content&task=emailform<br />
Disallow: /<em>?sl</em><br />
Disallow: /index.php?*<br />
Disallow: <em>.pdf$<br />
Disallow: /name.php?action=print<br />
Disallow: /trackback<br />
Disallow: /</em>rss.html<br />
Disallow: /*atom.html<br />
Host: ads-74.ru<br />
Sitemap: http://ads-74.ru/sitemap.xml</p>
<p>User-agent: *<br />
Disallow: /administrator/<br />
Disallow: /cache/<br />
Disallow: /components/<br />
Disallow: /editor/<br />
Disallow: /help/<br />
Disallow: /includes/<br />
Disallow: /installation/<br />
Disallow: /language/<br />
Disallow: /libraries/<br />
Disallow: /media/<br />
Disallow: /modules/<br />
Disallow: /plugins/<br />
Disallow: /templates/<br />
Disallow: /tmp/<br />
Disallow: /xmlrpc/<br />
Disallow: /index2.php?option=com_content&task=emailform<br />
Disallow: /<em>?sl</em><br />
Disallow: /index.php?*<br />
Disallow: <em>.pdf$<br />
Disallow: /name.php?action=print<br />
Disallow: /trackback<br />
Disallow: /</em>rss.html<br />
Disallow: /*atom.html</p>
Николай на "Делаем правильный robots.txt и sitemap.xml"
2011-12-13T15:00:41+04:00Николайhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5568Уважаемый автор. Я профессионально занимаюсь SEO-обучением http://seo-obuchenie.ru/ (смотри здесь) и продвижением сайтов http://prodvizhenie-saytov.ru/ (смотри здесь), поэтому приходится помнить все тонкости создания robots.txt. У Вас есть ошибка в посте и одна ненужная строка в robots.txt, так как в данном виде директива Allow не выполнится. К тому же эту директиву изначально поддерживал…
<p>Уважаемый автор.</p>
<p>Я профессионально занимаюсь SEO-обучением http://seo-obuchenie.ru/ (<a rel="nofollow" href="http://seo-obuchenie.ru/" rel="nofollow">смотри здесь</a>) и продвижением сайтов http://prodvizhenie-saytov.ru/ (<a rel="nofollow" href="http://prodvizhenie-saytov.ru/" rel="nofollow">смотри здесь</a>), поэтому приходится помнить все тонкости создания robots.txt.</p>
<p>У Вас есть ошибка в посте и одна ненужная строка в robots.txt, так как в данном виде директива Allow не выполнится. К тому же эту директиву изначально поддерживал только Яндекс.</p>
<blockquote>Так вот выглядит мой роботс:
User-agent: *
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://adw0rd.ru/sitemap.xml
Я разрешил поисковым ботам индексировать меня только по «Тегам» и «Архиву». Обратите внимание, я использую маску /wp- , для того чтобы URL'ы wp-login.php, wp-register.php, wp-admin и т.д. попали под запрет индексации (Disallow).
Также я разрешил индексировать мой «/wp-content/uploads/» для сервисов «Яндекс.Картинки» и «Google Картинки», так как там хранятся в основном картинки. И расшарил файл «sitemap.xml» для лучшей индексации.</blockquote>
<p>Если<br />
Allow: /wp-content/uploads/<br />
стоит после<br />
Disallow: /wp-<br />
, то выполнится именно <a rel="nofollow" href="http://help.yandex.ru/webmaster/?id=996567" rel="nofollow">первая сверху(!)</a> дирректива, а Allow: /wp-content/uploads/ не выполнится. Приоритет у вышестоящих записей.</p>
<p>Поэтому и в своем robots.txt просто поменяйте их местами. </p>
<p>С уважением, Николай.</p>
<p>P.S. На другие сообщения отвечать не стал, так как их очень много, но почти во всех примерах есть масса ошибок в составлении robots.txt.</p>
adw0rd на "Делаем правильный robots.txt и sitemap.xml"
2011-11-07T08:13:29+04:00adw0rdhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5545Я перешел по этой ссылке и меня средиректило на http://webmaster.yandex.ru/site/map.xml?host=, видимо теперь это правильный URL, но так как там есть редирект, то смысла пока не вижу переписывать, так как ещё может поменяться не раз :)
<p>Я перешел по этой ссылке и меня средиректило на http://webmaster.yandex.ru/site/map.xml?host=, видимо теперь это правильный URL, но так как там есть редирект, то смысла пока не вижу переписывать, так как ещё может поменяться не раз :)</p>
Design на "Делаем правильный robots.txt и sitemap.xml"
2011-11-04T20:55:01+04:00Designhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5543спасибо за статью но для яндекса запрос http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host= не работает
<p>спасибо за статью но для яндекса запрос<br />
http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=<br />
не работает</p>
bulanovandrej на "Делаем правильный robots.txt и sitemap.xml"
2011-04-01T18:46:12+04:00bulanovandrejhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5378Спасибо с статейку, я как раз щас это в оптимизации сайта своего делаю!
<p>Спасибо с статейку, я как раз щас это в оптимизации сайта своего делаю!</p>
Вадим на "Делаем правильный robots.txt и sitemap.xml"
2011-04-01T13:31:00+04:00Вадимhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5373а sitemap у меня : http://www.gt-light.ru/ 2011-04-01T08:38:30+00:00 always 1.00 http://www.gt-light.ru/product.html 2011-04-01T08:35:39+00:00 always 0.80 http://www.gt-light.ru/link.html 2011-04-01T08:35:39+00:00 always 0.80 http://www.gt-light.ru/contact.html 2011-04-01T08:37:06+00:00 always 0.80 http://www.gt-light.ru/Links/life.html 2011-03-22T19:21:49+00:00 always 0.80 http://www.gt-light.ru/Link.html 2011-03-22T19:21:49+00:00 always 0.80 http://www.gt-light.ru/office.html 2011-04-01T08:36:16+00:00 always 0.64 http://www.gt-light.ru/jkx.html 2011-04-01T08:34:35+00:00 always 0.64 http://www.gt-light.ru/street.html 2011-04-01T08:35:17+00:00 always 0.64 http://www.gt-light.ru/contact2.html 2011-03-26T14:47:26+00:00 always 0.64 http://www.gt-light.ru/office.pdf 2011-04-01T08:35:39+00:00 always 0.80 http://www.gt-light.ru/street.pdf…
<p>а sitemap у меня :</p>
<p>http://www.gt-light.ru/<br />
2011-04-01T08:38:30+00:00<br />
always<br />
1.00</p>
<p>http://www.gt-light.ru/product.html<br />
2011-04-01T08:35:39+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/link.html<br />
2011-04-01T08:35:39+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/contact.html<br />
2011-04-01T08:37:06+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/Links/life.html<br />
2011-03-22T19:21:49+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/Link.html<br />
2011-03-22T19:21:49+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/office.html<br />
2011-04-01T08:36:16+00:00<br />
always<br />
0.64</p>
<p>http://www.gt-light.ru/jkx.html<br />
2011-04-01T08:34:35+00:00<br />
always<br />
0.64</p>
<p>http://www.gt-light.ru/street.html<br />
2011-04-01T08:35:17+00:00<br />
always<br />
0.64</p>
<p>http://www.gt-light.ru/contact2.html<br />
2011-03-26T14:47:26+00:00<br />
always<br />
0.64</p>
<p>http://www.gt-light.ru/office.pdf<br />
2011-04-01T08:35:39+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/street.pdf<br />
2011-04-01T08:35:39+00:00<br />
always<br />
0.80</p>
<p>http://www.gt-light.ru/jkx.pdf<br />
2011-03-21T07:00:53+00:00<br />
always<br />
0.51</p>
Вадим на "Делаем правильный robots.txt и sitemap.xml"
2011-04-01T12:51:42+04:00Вадимhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5372Здравствуйте! правильно ли я создал robots.txt?? User-agent: * Sitemap: http://www.gt-light.ru/sitemap.xml Allow: /office.html Allow: /index.html Allow: /product.html Allow: /doc.html Allow: /contact.html Allow: / Allow: /street.html Allow: /jkx.html Allow: /link.html Allow: /contact2.html Allow: /send.php
<p>Здравствуйте! правильно ли я создал robots.txt??</p>
<p>User-agent: *<br />
Sitemap: http://www.gt-light.ru/sitemap.xml<br />
Allow: /office.html<br />
Allow: /index.html<br />
Allow: /product.html<br />
Allow: /doc.html<br />
Allow: /contact.html<br />
Allow: /<br />
Allow: /street.html<br />
Allow: /jkx.html<br />
Allow: /link.html<br />
Allow: /contact2.html<br />
Allow: /send.php</p>
Александр на "Делаем правильный robots.txt и sitemap.xml"
2011-03-30T14:25:02+04:00Александрhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5365User-agent: * Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /subaction=userinfo Disallow: /subaction=newposts Disallow: /do=lastcomments Disallow: /do=feedback Disallow: /do=register Disallow: /do=lostpassword Disallow: /do=addnews Disallow: /do=stats Disallow: /*do=pm Sitemap: http://home-center74.ru/sitemap.xml Вопрос это для Dle немагу понять прочитал много и вывот всёжи не зделал чтоб яша и гугол тебя хорошо скан7ировали…
<p>User-agent: *<br />
Disallow: /engine/go.php<br />
Disallow: /user/<br />
Disallow: /newposts/<br />
Disallow: /statistics.html<br />
Disallow: /<em>subaction=userinfo<br />
Disallow: /</em>subaction=newposts<br />
Disallow: /<em>do=lastcomments<br />
Disallow: /</em>do=feedback<br />
Disallow: /<em>do=register<br />
Disallow: /</em>do=lostpassword<br />
Disallow: /<em>do=addnews<br />
Disallow: /</em>do=stats<br />
Disallow: /*do=pm</p>
<p>Sitemap: http://home-center74.ru/sitemap.xml<br />
Вопрос это для Dle немагу понять прочитал много и вывот всёжи не зделал чтоб яша и гугол тебя хорошо скан7ировали что нужно для этого или дайте что надо добавить к ниму.</p>
ruspravabcde на "Делаем правильный robots.txt и sitemap.xml"
2010-12-15T00:41:36+03:00ruspravabcdehttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5157andrej, сайт покажи
<p>andrej, сайт покажи</p>
adw0rd на "Делаем правильный robots.txt и sitemap.xml"
2010-11-14T20:39:47+03:00adw0rdhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5038Погуглите в факу юкоза или спросите в их техподержке
<p>Погуглите в факу юкоза или спросите в их техподержке</p>
andrej на "Делаем правильный robots.txt и sitemap.xml"
2010-11-14T20:11:44+03:00andrejhttps://adw0rd.com/2009/05/29/robotstxt-and-sitemapxml/#comment-5037я пытался добавить свой сайт в яндекс а он мне выдал что типо не индексирует из за заперта роботом но я вообще этот робот не добавлял, но яндекс он почему то находит. и действительно там роботс написан так что запрещает индексировать весь сайт всеми коталогами. что это ваще такое и…
<p>я пытался добавить свой сайт в яндекс а он мне выдал что типо не индексирует из за заперта роботом но я вообще этот робот не добавлял, но яндекс он почему то находит. и действительно там роботс написан так что запрещает индексировать весь сайт всеми коталогами. что это ваще такое и что делать теперь?</p>