news161.ru/robots.txt:
User-agent: *
Disallow: *wp-admin*
Disallow: /wp/wp-admin/
Disallow: /wp/wp-admin/admin-ajax.php
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /robots.php
Disallow: */?add*
Disallow: */?* # Все параметры запроса на главной.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed # Все встраивания.
Disallow: */page/ # Все виды пагинации.
Disallow: */xmlrpc.php # Файл WordPress API
Disallow: *utm*= # Ссылки с utm-метками
Disallow: *openstat= # Ссылки с метками openstat
Disallow: */wp-json*
Disallow: /shop/
Disallow: *wp-sitemap.xml*
User-agent: Yandex
Disallow: */amp/*
Disallow: */amp/
Disallow: /shop/
Disallow: *wp-admin*
Disallow: /wp/wp-admin/
Disallow: /wp/wp-admin/admin-ajax.php
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /robots.php
Disallow: */?add*
Disallow: */?* # Все параметры запроса на главной.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed # Все встраивания.
Disallow: */page/ # Все виды пагинации.
Disallow: */xmlrpc.php # Файл WordPress API
Disallow: *utm*= # Ссылки с utm-метками
Disallow: *openstat= # Ссылки с метками openstat
Disallow: */wp-json*
Disallow: *wp-sitemap.xml*
Host: news161.ru
Sitemap: https://news161.ru/sitemap_index.xml
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|