www.bedirectory.com/robots.txt:
User-agent: *
Disallow: /*page
Disallow: /*search
Disallow: /*p=
Disallow: /*gosearch.php
Disallow: /*s=
Disallow: /*id=
Disallow: /*rss.php
Disallow: /*sitemap.xml
Disallow: /*sitemap.xml.gz
Disallow: /*urllist.txt
Disallow: /*?p=
Disallow: /*?s=
Disallow: /*?id=
Disallow: /*cgi-bin/
Disallow: /*cat_id
Disallow: /*search.php?
Disallow: /*%
Disallow: /*submit.php
Disallow: /*detail.php
Disallow: /*details.php
Disallow: /*details
Disallow: /*detail
Disallow: /*_1
Disallow: /*_2
Disallow: /*_3
Disallow: /*_4
Disallow: /*_5
Disallow: /*_6
Disallow: /*_7
Disallow: /*_8
Disallow: /*_9
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|