Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Оптимизация изображений для графических поисковиков

  2. Сколько платить за раскрутку сайта?

  3. Как увеличить популярность сайта ссылками?

  4. Алгоритмы поисковых систем

  5. Что такое саттелиты?


SEO новости
  1. Куда пойти учится SEO, и пойти ли вообще?

  2. аффилиат-фильтр Яндекса

  3. Rambler обновит систему поиска и дизайн портала

  4. БИЗНЕС В ИНТЕРНЕТЕ И ЗАКОН: ответы юристов

  5. Новый алгоритм ссылочного ранжирования; инструкция к применению

Управление индексацией сайта при помощи файла robots.txt




( , , ..) -, , . - : -, robots.txt. .



robots.txt - (, - txt, ), (, [url]http://filosofia.ru/[/url], robots.txt : [url]http://filosofia.ru/robots.txt)[/url]. : ! , - , , robots.txt ( ). , , . robots.txt. , ( :-)).

robots.txt

robots.txt : . , , - ( ), . ( User-agent, robots.txt ):

User-agent: robot1 robot2 robot3, :

robot1, robot2 robot3 - . :

User-agent: WebCrawler Lycos StackRambler

, ( : Rambler "" StackRambler). , , . :

User-agent: *, "*" , ( ).

:

Disallow: , :

- URI, . ( URI, ). , Dissallow.

: , .

:

Disallow: /topsecret/ - , , .. topsecret.html , /topsecret/ - .

Disallow: /privat - , .

Disallow: /folder/file.htm - .

, , , Disallow. Disallow , URL . robots.txt , , Disallow. Disallow User-agent, User-agent Disallow.



robots.txt . .

1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

# . .

tmp logs, StackRambler Googlebot .

2.

# I hate search engines!

User-agent: *
Disallow: /

.

3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

, /private/letters/ /cgi-bin/, anektods.html.

4.

User-agent: *
Disallow:

. .



robots.txt . . - , , . " " . " ".

? - . , ? - , - "robots". .

Все статьи



© 2008-2023 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера