Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Управление индексацией сайта при помощи файла robots.txt

  2. Инструкция по переезду на другой домен

  3. Повышаем тИЦ

  4. Руководство по оптимизации сайта под поисковые системы

  5. Гарантии SEO - не дайте себя одурачить!


SEO новости
  1. Идти в SEO-специалисты нужно все взвесив

  2. Рейтинг SEO-компаний

  3. Google и Yahoo! понимают флеш-контент

  4. Круче Google, но медленнее "Яндекса"

  5. Бэклинки с молодых сайтов – иногда перспективно

Управление индексацией сайта при помощи файла robots.txt




( , , ..) -, , . - : -, robots.txt. .



robots.txt - (, - txt, ), (, [url]http://filosofia.ru/[/url], robots.txt : [url]http://filosofia.ru/robots.txt)[/url]. : ! , - , , robots.txt ( ). , , . robots.txt. , ( :-)).

robots.txt

robots.txt : . , , - ( ), . ( User-agent, robots.txt ):

User-agent: robot1 robot2 robot3, :

robot1, robot2 robot3 - . :

User-agent: WebCrawler Lycos StackRambler

, ( : Rambler "" StackRambler). , , . :

User-agent: *, "*" , ( ).

:

Disallow: , :

- URI, . ( URI, ). , Dissallow.

: , .

:

Disallow: /topsecret/ - , , .. topsecret.html , /topsecret/ - .

Disallow: /privat - , .

Disallow: /folder/file.htm - .

, , , Disallow. Disallow , URL . robots.txt , , Disallow. Disallow User-agent, User-agent Disallow.



robots.txt . .

1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

# . .

tmp logs, StackRambler Googlebot .

2.

# I hate search engines!

User-agent: *
Disallow: /

.

3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

, /private/letters/ /cgi-bin/, anektods.html.

4.

User-agent: *
Disallow:

. .



robots.txt . . - , , . " " . " ".

? - . , ? - , - "robots". .

Все статьи



© 2008-2017 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера