alldayplus.ru/robots.txt:
User-agent: *
Crawl-delay: 40
Disallow: /wp-admin/
Disallow: /*wp-admin/
Disallow: /wp-includes/
Disallow: /*wp-includes/
Disallow: /wp-content/plugins/
Disallow: /*wp-content/plugins/
Disallow: /download-manager.php?id=
Disallow: /cgi-bin/
Disallow: */trackback
Disallow: */comment-
Disallow: *?replytocom=
Disallow: */feed
Disallow: /*?*
Disallow: /?
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /*xmlrpc.php
Disallow: /archives/date/
Disallow: /archives/tag/
Disallow: /archives/author/
Disallow: /page/
Disallow: /*page/
Disallow: /tag/
Allow: /wp-content/uploads/
Host: alldayplus.ru
Sitemap: http://alldayplus.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|