Тег НоуИндекс и Яндекс

Иногда, при внесении каких-то технических изменений на сайте или продолжительном ведении блога, появляются материалы и куски кода, которые могут навредить . В данной статье коснусь, прежде всего, Яндекса и опишу его «специфический» HTML-тег .

В чём вообще здесь суть? Как известно, необходимо учитывать следующее:

1. материал (прежде всего, текст) отдельной страницы должен быть уникальным
2. и должен соответствовать какому-либо ключевому слову (запросу), под которое эта страница SEO-оптимизируется.

Но если имеются (или появляются со временем) тексты или коды, негативно влияющие на эти 2 пункта, то продвижение может ухудшиться.

Что это конкретно и как влияет?

Что это

Здесь может быть много всего:

• куски неуникального текста, взятые вами с чужого сайта и вставленные в вашу уникальную (изначально) статью,
• обилие кодов рекламы — тизеры, баннеры, и другая,
• множество JavaScript-скриптов и кодов flash-приложений,
• разные блоки ссылок в сайдбаре вроде «наши друзья»,
• куча ,
• и др.

Как влияет

Исходя из двух пунктов списка, указанных в начале статьи, влияет это так:

1. происходит «разбавление» плотности .

Поэтому неплохо бы закрыть все лишние части материалов от индексации поисковыми роботами.

Тег Noindex Яндекса и скрытие кода от его роботов

К сожалению (а может, и нет), закрыть от индексации отдельные участки HTML-кода позволяет лишь Yandex. Возможно, со временем Google и Bing также предложат что-нибудь аналогичное. А может, их разработчики просто не считают это необходимостью.

В общем, тега noindex в Google нет! — особо указываю на это из-за того, что в Сети полно разговоров по данному поводу. Зато поисковик Гугл позволяет скрывать всю страницу от роботов через , а также стандартными средствами — как и остальные ПС:

Использование Noindex в Яндексе

Пользоваться им не сложнее, чем любым другим HTML-тегом. Обычно выглядит всё так:

Что-то из того, что не надо отдавать Яндексу

Возможен и альтернативный вариант — тег ноиндекс в виде стандартного HTML-комментария. Вот, к примеру, как можно скрыть контекст от AdSense:

AdSense «завёрнут» в noindex tag

— т.е. всё то же самое, но добавляем указание на то, что это комментарий. На мой взгляд, такой вариант предпочтительней.

Кстати, чтобы узнать, где на веб-странице расставлены блоки тегов ноуиндекс, можно поставить:

Они будут буквально «подсвечивать» участки кода, «завёрнутые» в этот тег. Правда, RDS bar иногда не подсвечивает вариант в формате комментария — – – noindex– – > .

Когда использовать?

Как и писал выше, noindex в Яндекс нужен для скрытия ненужных кусков кода, чтобы не уменьшалась уникальность текстов и релевантность статей запросам . Будет вполне логично, если возникнет мысль закрыть всё-всё, кроме текста оптимизированной статьи в тег ноиндекс — включая в верхнем меню, шапку сайта, комментарии и прочее.

На самом деле, так разгоняться не стоит . На это есть две причины:

• Подобные манипуляции (если переборщить) могут быть расценены Яндексом .
• Роботы современных ПС способны различать, где, например, находится блок со статьёй, а где — комментарии к ней. Yandex тоже может — где-то 10 месяцев назад я у них это лично выяснил, т.к. планировал позакрывать все блоки с комментариями в Noindex.

С комментариями получается довольно интересно — поисковикам нравится обилие комментариев , т.к. это свидетельствует о . Поэтому не надо переживать, что тексты комментаторов уменьшат релевантность статьи запросу — лучше подумать об их .

Также, на мой взгляд, лучше закрыть блоки AdSense от «глаз» Яндекса (как и любые другие рекламные коды) — чтобы этот поисковик не посчитал ваш сайт «слишком» рекламным и не применил . НО оставить открытыми .

Смысл в том, что в РСЯ принимаются только качественные ресурсы с точки зрения Яндекса , поэтому наличие данной рекламы может намекнуть этой ПС о «качественности» вашего проекта и повысить такую абстрактную характеристику, .

Noindex и закрытие внешних ссылок

Одно время (когда Yandex не поддерживал nofollow ), нежелательные приходилось «заворачивать» в и дополнительно приписывать к тегу ссылки rel=’nofollow’, т.е. весь код закрываемой ссылки мог выглядеть так:

Закрытие ссылок в Яндекс через ноуиндекс

Теперь данная ПС поддерживает nofollow и можно обойтись без «заворчивания» ссылки в и пользоваться стандартным приёмом с nofollow. Подробнее про атрибут Rel=nofollow читайте .

Кажется, это всё, что можно рассказать про тег Noindex и Яндекс. Имейте всё это в виду и используйте грамотно

В апреле, поисковик Yandex, обрадовал рунетовских веб-мастеров, включением поддержки атрибута rel=»nofollow» в ссылках. Какую пользу это нам — блоггерам принесет? Как правильно прописать атрибут rel=»nofollow» в ссылках и что теперь будет с ?

Давайте попробуем разобраться в этих новинках Яндекса.

Небольшая предыстория атрибута rel=nofollow

Что такое rel=nofollow?

Rel=» « — атрибут в ссылке , указывающий отношение ссылки к целевой странице. Также, есть еще атрибут Rev=» « , указывающий отношение целевой страницы к ссылке, например (ссылка с rev=»sponsor» указывает, что это спонсорская ссылка). Но об этом в следующей статье.

Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.

Исходя из вышесказанного:

Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.

Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, .

Google , встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.

Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег , который позволял сделать тоже самое и больше. Теперь там и nofollow.

В чем разница rel=nofollow и

Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?

Все дело в том, что тег это личная инициатива Yandex . Данный тег нигде в мире, кроме самого Яндекс, не поддерживается и не стандартизирован. При проверке ресурса на ошибки в коде и поддержке web-стандартов, веб-мастера всегда получали «не валидный» код. То есть, ваш ресурс содержит ошибки. Но, спешу вас успокоить, это не критическая ошибка и практически ни на что не влияет. Для тех кому важен валидный код, вот структура, рекомендованная самим Yandex для валидности вашего кода:

Еще одна проблема тега в том, что зарубежные веб-мастера, не ведая о данном теге, не используют его в разработках своих плагинов к WordPress. Приходится данные плагины адаптировать под Яндексовскую реальность.
Если в комментариях блога ссылки были закрыты атрибутом rel=»nofollow», то для Яндекса эти ссылки были открыты. Это означало, что роботу приходилось путешествовать по всем ссылкам указанным в комментариях.

Атрибут со статусом rel=»nofollow» стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.

Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.

Зачем нужен ?

Тег очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом .

К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.

Как правильно прописать rel=nofollow и

1. Для закрытия ссылок от индексации, с помощью rel=»nofollow» , используется простая схема:
   Ссылка на сайт
   перехода по ссылке не будет.
2. Для закрытия блока текста тегом , со всем содержимым, в том числе и с анкорами ссылок, используется схема:
   Блок вашего закрываемого текста
   данный текстовый блок не будет проиндексирован в Яндекс, со всеми текстами ссылок.
3. Для закрытия блока текста тегом и ссылок в блоке, используется схема:
   Блок вашего закрываемого текста Текст анкор ссылки Блок вашего закрываемого текста
   данный блок не будет проиндексирован в Яндекс, со всеми ссылками содержащимся в данном блоке.

Что изменилось с вводом поддержки rel=nofollow?

1. Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=»nofollow».
2. Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, Википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.

Кратко, о новинках апреля 2010 года в Яндекс:

1. У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
2. Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
3. Появился колдунщик видео.
4. В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.

P.S. Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical», о котором я писал в , и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical» . Принесет это облегчение или нет, покажет время.

Meta tags allow you to specify metadata about a site page. A number of meta tags are also used by search engine robots.

Note. Often the description and title meta tags are created automatically. They duplicate themselves and don"t make the search easier for the users. Meta tags with low quality content can have negative effect on the display of the site pages in the search.

The Yandex robot looks at the content of the following meta tags:

• - May be used when determining the page"s relevance to search queries.
• - The content of this tag can be used in snippets (site descriptions in search results).

- Used to adapt the site for mobile devices . It allows controlling the zoom of the viewport in the browser. The value width=device-width adapts the width of the viewport to the device screen. The value initial-scale=1 provides a 1:1 ratio of CSS pixels to independent device pixels.

If the meta tag is omitted, mobile browsers show the page for a computer screen by default. Since the screen width on a mobile device is significantly less than a computer screen, browsers try to optimize the content by increasing the font size, scaling the content to the screen size, or showing only the part of the content that fits on the screen.

• - The robot may look at this tag to determine the type of the document and its encoding.

- Redirects the user to the page with the specified URL after the users stays N seconds on the current page. For small N values, it is considered a temporary redirect, similar to server redirects with the HTTP code 302/303/307.

The Yandex robot also looks at these meta tags:

- Allows you to index text and links on the page, similar to .

- Prohibits indexing the page text.

- Prohibits following the links on the page.

- Prohibits indexing the text and following the links on the page, similar to .

- Prohibits showing the link to the saved copy on the search results page.

- Prohibits using the Yandex.Catalog description for the snippet in the search results.

In the name attribute, you can use yandex in place of robots to specify directives only for the Yandex robot. For example: \n

The robot doesn"t visit documents if they are linked to from pages containing a nofollow meta tag. However, they may be indexed if other sources link to them without nofollow .

If meta tags aren"t specified, the robot assumes that they have positive values (index, follow, archive). If the robot discovers a tag conflict, it chooses the positive value.

\n\n

There is an exception - the all attribute doesn"t affect noarchive:\n

\n\n

The noindex element

To prohibit indexing of auxiliary fragments of the text, use the tag. This tag works the same way as the noindex meta tag, but it only applies to the text enclosed inside the tag in the format:

The noindex tag is not sensitive to nesting, meaning it can be placed anywhere in the HTML code of a page. You can use the tag in the following format if necessary for making the site code valid :

the text you want to prohibit from indexing

The rel = \"nofollow\" attribute of the a element

The rel=\"nofollow\" attribute is used in the tag in the following format:

\nlink text

The attribute works the same way as the meta tag with the nofollow value, but it only applies to the specified link.

The rel=\"canonical\" attribute of the link element

If a site has groups of pages with similar content, the webmaster can specify the preferred (canonical) address to use in search results for each group.\nFor example, a page can be accessed using two addresses:

Www.example.com/pages?id=2www.example.com/blog

If the preferred address is /blog , this should be reflected in the page code /pages?id=2:

Likewise, if the page has the rel=\"canonical\" attribute specifying the address of this page, the robot regards it as canonical. This page will be indexed and will appear in the Yandex search results.

The robot doesn"t treat a link with the rel=\"canonical\" attribute as a strict directive, but as an option that is taken into account and may be ignored.

For example, the robot might not use the address you specified if:

The document isn"t accessible for indexing at the canonical address.

The canonical address specifies a URL in a different domain or subdomain.

You specified several canonical addresses.

You also shouldn"t create chains of canonical addresses. For example, for the address example.ru/1 , the canonical address is example.ru/2 , but at the same time, the address example.ru/2 has the canonical address example.ru/3 .

В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег , атрибут rel=”nofollow” и мета-тег . В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег

... – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

для ссылок

текст ссылки

Тег для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

для контента - вариант 1

< noindex >< / noindex >

для контента - вариант 2

Текст, запрещённый к индексированию

< ! -- noindex -- > Текст, запрещённыйкиндексированию< ! -- / noindex -- >

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

rel=”nofollow”

текст ссылки

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок . Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Как использовать совместно тег и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:

"совместно

текст ссылки

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь >.

Мета-тег

Этот мета-тег устанавливается в секцию на той странице, которая не должна индексироваться и выглядит это следующим образом:

Мета-тег

… ...

< head > < meta name = "robots" content = "noindex, nofollow" / > . . . < / head >

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

– запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

1. нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
2. выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
3. – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
4. – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
5. - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
6. - делает то же самое - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google .

Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс .

Как сочетать meta name="robots" с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt . Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO . Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):

И использование мета-тега :

Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.