Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Миф о специалисте

  2. Что выбрать поисковую рекламу или оптимизацию?

  3. 10 шагов по оптимизации блога WordPress для поисковых систем

  4. Как писать статьи, или как их лучше не писать

  5. Невидимый ВИЦ


SEO новости
  1. Rambler обновит систему поиска и дизайн портала

  2. БИЗНЕС В ИНТЕРНЕТЕ И ЗАКОН: ответы юристов

  3. Новый алгоритм ссылочного ранжирования; инструкция к применению

  4. Красивые графики =)

  5. Китай первый и в интернете

Управление индексацией сайта при помощи файла robots.txt




( , , ..) -, , . - : -, robots.txt. .



robots.txt - (, - txt, ), (, [url]http://filosofia.ru/[/url], robots.txt : [url]http://filosofia.ru/robots.txt)[/url]. : ! , - , , robots.txt ( ). , , . robots.txt. , ( :-)).

robots.txt

robots.txt : . , , - ( ), . ( User-agent, robots.txt ):

User-agent: robot1 robot2 robot3, :

robot1, robot2 robot3 - . :

User-agent: WebCrawler Lycos StackRambler

, ( : Rambler "" StackRambler). , , . :

User-agent: *, "*" , ( ).

:

Disallow: , :

- URI, . ( URI, ). , Dissallow.

: , .

:

Disallow: /topsecret/ - , , .. topsecret.html , /topsecret/ - .

Disallow: /privat - , .

Disallow: /folder/file.htm - .

, , , Disallow. Disallow , URL . robots.txt , , Disallow. Disallow User-agent, User-agent Disallow.



robots.txt . .

1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

# . .

tmp logs, StackRambler Googlebot .

2.

# I hate search engines!

User-agent: *
Disallow: /

.

3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

, /private/letters/ /cgi-bin/, anektods.html.

4.

User-agent: *
Disallow:

. .



robots.txt . . - , , . " " . " ".

? - . , ? - , - "robots". .

Все статьи



© 2008-2018 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера