Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Миф о специалисте

  2. Что выбрать поисковую рекламу или оптимизацию?

  3. 10 шагов по оптимизации блога WordPress для поисковых систем

  4. Как писать статьи, или как их лучше не писать

  5. Невидимый ВИЦ


SEO новости
  1. Google и Yahoo! понимают флеш-контент

  2. Круче Google, но медленнее "Яндекса"

  3. Бэклинки с молодых сайтов – иногда перспективно

  4. Куда пойти учится SEO, и пойти ли вообще?

  5. аффилиат-фильтр Яндекса

Управление индексацией сайта при помощи файла robots.txt




( , , ..) -, , . - : -, robots.txt. .



robots.txt - (, - txt, ), (, [url]http://filosofia.ru/[/url], robots.txt : [url]http://filosofia.ru/robots.txt)[/url]. : ! , - , , robots.txt ( ). , , . robots.txt. , ( :-)).

robots.txt

robots.txt : . , , - ( ), . ( User-agent, robots.txt ):

User-agent: robot1 robot2 robot3, :

robot1, robot2 robot3 - . :

User-agent: WebCrawler Lycos StackRambler

, ( : Rambler "" StackRambler). , , . :

User-agent: *, "*" , ( ).

:

Disallow: , :

- URI, . ( URI, ). , Dissallow.

: , .

:

Disallow: /topsecret/ - , , .. topsecret.html , /topsecret/ - .

Disallow: /privat - , .

Disallow: /folder/file.htm - .

, , , Disallow. Disallow , URL . robots.txt , , Disallow. Disallow User-agent, User-agent Disallow.



robots.txt . .

1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

# . .

tmp logs, StackRambler Googlebot .

2.

# I hate search engines!

User-agent: *
Disallow: /

.

3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

, /private/letters/ /cgi-bin/, anektods.html.

4.

User-agent: *
Disallow:

. .



robots.txt . . - , , . " " . " ".

? - . , ? - , - "robots". .

Все статьи



© 2008-2020 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера