itspec.org/robots.txt:
User-agent: Yandex
Allow: /
Disallow: /*?op=rate_up*
Disallow: /*?op=rate_down*
Disallow: /Sitemapg.xml
Disallow: /wow.min.js
Disallow: /animate.css
Disallow: /style.css
Disallow: /traffic-3g.php.php
Disallow: /soft/PortScan.exe
Disallow: /menu.php
Disallow: /podval.php
Disallow: /roof.php
Disallow: /soft/expand.exe
Host: www.itspec.org
Sitemap: https://itspec.org/sitemap.xml
Crawl-delay: 20
User-agent: Google
Allow: /
Disallow: /*?op=rate_up*
Disallow: /*?op=rate_down*
Disallow: /wow.min.js
Disallow: /animate.css
Disallow: /style.css
Disallow: /traffic-3g.php.php
Disallow: /soft/PortScan.exe
Disallow: /menu.php
Disallow: /podval.php
Disallow: /roof.php
Disallow: /soft/expand.exe
Disallow: /Sitemap.xml
Sitemap: https://itspec.org/Sitemapg.xml
Crawl-delay: 20
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|