Meta tag
robots - простой способ указать посещающему web- роботу что должна ли страница быть проиндексирована или должен ли он проследовать по ссылкам на странице.
Внимание: в данный момент не все роботы поддерживают robots meta tag!
Как и любой meta tag он должен быть размещен в разделе head html- страницы:
<html>
<head>
<meta name="robots" content="noindex, nofollow">
<meta name="description" content="Руководство для web- мастеров. . . . ">
<meta name="keywords" content = "robots, meta, tag. . . . ">
<title>Руководство для web- мастеров. . . </title>
</head>
<body>
. . .
Поле content для robots meta tag содержит директивы, разделяемые запятыми. В данный момент определены следующие директивы: [no]index и [no]follow. Директива index определяет, должен ли робот индекировать страницу. Директива follow должен ли робот проследовать по ссылкам на странице По умолчанию заданы index и follow. Значения all и none включают или выключают директивы: all=index, follow и none=noindex, nofollow.
Несколько примеров:
<meta name="robots" content="index, follow">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">
Обратите внимание, что значение полей name ("robots") и content не чувствительны к регистру.
Вы не должны определять конфликтующие или дублирующие директивы, например так:
<meta name="robots" content="index, noindex, nofollow, follow, follow">
Формальный синтаксис поля content для the robots meta tag:
content = all | none | directives
all = "all"
none = "none"
directives = directive [", " directives]
directive = index | follow
index = "index" | "noindex"
follow = "follow" | "nofollow"
yandex. От сих до сих - не сканируй. (Тег noindex).
Наш родной Яндекс облегчил жизнь веб мастерам и дал возможность указать часть веб страницы, которую не нужно индексировать роботу Яндекс.
Для этого нужно заключить текст, не подлежащий индексированию, между тегами <noindex> и </noindex>.
Это очень удобно, когда, например, вы хотите на своей странице привести пример, как не надо обманывать поисковых роботов.
Например:
<noindex>
<h1>Продаю розовую собачку</h1>
Розовая собачка, очень розовая собачка. Розовая собачка на любой вкус.
Розовая собачка. Покупайте розовую собачку.
Розовая собачка. Только здесь и сейчас - розовые собачки
Розовая собачка.
</noindex>
Ясно, что такой текст будет сильно оптимизирован по слову "розовая собачка". Однако, это является нарушением и попыткой обмануть поисковую систему. И теги <noindex> в данном случае говорят Яндексу не индексировать этот участок текста. Другими словами, поисковик не будет накладывать на такую страницу никаких санкций, так как все противоправные приемы спрятаны от поискового робота при помощи тега <noindex>.
К сожалению, теги <noindex> не являются стандартными. Это "изобретение" Яндекса. Иногда, такого же инструмента очень не хватает для google.
googlebot, ты туда не ходи. Ты сюда ходи. (Атрибут nofollow)
У google есть своя фишка, с помощью которой можно указать его роботу по каким ссылкам он не должен переходить.
Предположим, что по тем или иным причинам, вы не желаете, чтобы googlebot следовал (follow) по определенной ссылке со страницы. Для этого можно в атрибуте rel тега <a> указать значение nofollow. По ссылкам с таким атрибутом, googlebot не ходит.
Пример:
<a href="http: //адрес страницы которая не должна быть проиндексирована google" rel="nofollow">это ссылка</a>
Это решение тоже не переносимо, то есть работает только для робота google. Однако, знать об этом все же стоит. Очень удобно использовать атрибут nofollow при оптимизации страниц для получения большего page rank от google.
Есть миры, не здесь, там, где небеса горят, и моря засыпают, и реки дремлют; люди сделаны из дыма, а города – из песен. Где-то опасность, где-то несправедливость, даже где-то остыл чай. Идем Эйс, у нас много работы!
