urbanlove.ru/robots.txt:
User-agent: Yandex
Disallow: /?action=
Clean-param: tid&genre&action
Host: https://rusdate.co.il
Sitemap: https://urbanlove.ru/sitemap.xml.gz
User-agent: *
Allow: /
Disallow: /?action=
Allow: /?action=landing*
Disallow: /*/?genre
Disallow: /?tid=
Disallow: /r/
Sitemap: https://urbanlove.ru/sitemap.xml.gz
User-agent: MediaPartners-Google
Allow: /
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|