Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

По материалам сайта: http://www.seonews.ru/

Справочники и поисковые системы глобального масштаба

Все перечисленные системы предназначены для поиска информации в Интернет в целом, без относительно к какому либо региону мира. При необходимости выявления исчерпывающей информации рекомендуется провести последовательный поиск с использованием нескольких поисковых машин или справочников.

About

Справочник, поддерживаемый экспертами различных областей знания. Основная задача - отразить не все, а лишь наиболее ценные ресурсы. Описания сайтов составлены очень квалифицированно. Удобен при необходимости отбора самых качественных ресурсов по конкретной тематике. Основной недостаток - медленное обновление материала.

AlltheWeb

Изначально - поисковая система, расположенная в Европе и ориентированная преимущественно на европейские сайты. С марта 2004 года под брэндом AlltheWeb была размещена и запущена поисковая система Yahoo! и в настоящее время AlltheWeb представляет собой фактическое “зеркало” поисковой системы Yahoo! Serach, с той лишь разницей, что в его модуле выдачи результатов гораздо лучше решены проблемы вывода документов на разных языках, использующих кодировки, отличные от расширенной латиницы. В число 36 языков, с которыми система работает вполне корректно, попал и русский.

Alta Vista

В прошлом одна из наиболее популярных поисковых систем мира. С марта 2004 года под брэндом Alta Vista была размещена и запущена поисковая система Yahoo! и в настоящее время Alta Vista представляет собой фактическое “зеркало” поисковой системы Yahoo! Serach.

Excite

Поисковая система, объем базы данных которой насчитывает более 250 миллионов документов. Имеет развернутую подсистему поиска мультимедийных источников.

Google

Мировой лидер поискового сервиса. Поисковая система последнего поколения, декларирующая самый большой объем базы данных - более 8 миллиардов документов. Обеспечивает интерфейс на языке пользователя, а также возможность разыскания иллюстраций. Google был первой поисковой машиной, начавшей индексацию документов в форматах PDF, PS, DOC, XLS, PPT, RTF, WP5.

HotBot

Поисковая система, объем индекса базы данных которой не превышает 500 миллионов документов. Имеет возможность поиска иллюстраций, аудио и видео файлов. Не допускает выявление документов на русском языке.

LookSmart

Справочник ресурсов, ориентированный на интересы среднестатистического пользователя Интернет.

Lycos

Проект пережил несколько кардинальных преобразований. В 1996 году был начат как поисковая система, в 1999 году Lycos преобразован в справочник ресурсов, но с июля 2002 года, с введением в эксплуатацию поискового механизма Search Lycos 6.0, вновь используется в основном как поисковая система. Допускает поиск иллюстраций, аудио и видеофайлов. Декларируя наибольший объем индексного файла, тем не менее, не указывает его точный объем. С русскоязычными ресурсами работает плохо.

MSN Search

Поисковая система, созданная компанией Microsoft. С февраля 2005 года окончательно перешла на использование собственного поискового модуля. Декларируется учет более 5 миллиардов документов. Система обладает возможностью поиска на новостных сайтах, поиском иллюстраций, поиска в принадлежащей Microsoft энциклопедии Encarta, а также модулем, который, после бесплатной выгрузки и установки, производит поиск на собственном компьютере пользователя.

Open Directory

Справочник ресурсов Интернет, являющийся на сегодня одним из наиболее полных в мире: отражено порядка 4 миллионов ресурсов. Является некоммерческим проектом, формируясь силами Интернет-сообщества. По этой причине множество разделов Open Directory выполнены полностью на национальных языках, включая русский.

Teoma Поисковая система, открытая для использования в начале третьего тысячелетия. Единственным достоинством является внушительный объем индексного файла. Не способна осуществлять поиск документов на русском языке.
Webtop

Поисковая система, декларирующая объем базы данных более 500 миллионов документов. В настоящее время располагает примитивным механизмом составления запроса. Не обладает возможностью поиска документов на русском языке.

WiseNut Поисковая система последнего поколения. Главное достоинство - большое число проиндексированных документов. Не способна осуществлять поиск материалов на русском языке.
Yahoo! Directory

Один из наиболее авторитетных и полных справочников ресурсов Интернет. Имеет внушительный объем (порядка 2 миллионов учтенных ресурсов) и хорошо разветвленную иерархическую структуру. Удобен при разыскании перечней зарубежных, прежде всего англоязычных, сайтов по заданной тематике. Поскольку за отражение ресурса взимается ежегодная плата, многие ценные ресурсы были исключены из Yahoo! Directory и справочник в настоящее время не может претендовать на исчерпывающую полноту.

Поисковая система Yahoo!, выделившаяся в отдельный сервис после преобразования портала в 2004 году. По результатам тестов, включает порядка 4 миллиардов документов. Имеет хорошие возможности поиска иллюстраций и видеофайлов. Допускает поиск на русском языке.

Метапоисковые системы

Метапоисковые системы являются разновидностью поисковых инструментов, не имеющих собственных поисковых роботов и баз данных (индексных файлов). Их главное достоинство заключается в умении рассылать запрос сразу в несколько "реальных" поисковых систем и затем суммировать результаты. Пользование ими рекомендуется в случае разыскания сведений предположительно об очень редком объекте или при крайнем недостатке времени, поскольку метапоисковые средства очень часто не в состоянии корректно обработать запрос для различных поисковых систем, а также правильно совместить результаты, полученные разными системами.

Dogpile

Обращается к различным поисковым средствам последовательно, а не одновременно. Обеспечивает выявление данных в конференциях UseNet и на FTP-серверах, а также поиск иллюстраций, аудио- и видеофайлов.

Ez2find.com

Система обеспечивает релевантный поиск на русском языке. Имеет неплохие возможности для формирования запроса. Поиск производится в Google, AllTheWeb, Altavista, Yahoo, Open Directory. Результаты сортируются по разделам.

Ixquick Metasearch

Система по умолчанию обращается к 14 ведущим поисковым средствам, за исключением Google. В запросе используется традиционный синтаксис, в точности соответствующий используемому в Alta Vista. Перечень поисковых систем, к которым происходит обращение, может быть легко задан пользователем. Обеспечивает также поиск в новостях, разыскание иллюстраций и аудиофайлов.

KartOO

Отличительной особенностью является использование в интерфейсе flash-технологии. За счет этого достигается быстрая загрузка страницы, а также визуализация связей между сайтами, посвященными конкретной теме.

Mamma Meta Search

Относительно новая разработка. Наряду с текстовым поиском, обеспечивает выявление мультимедийных файлов. Имеет простой интерфейс, который, однако, не поддается настройке.

MetaСrawler

Ветеран метапоискового сервиса. По умолчанию обращается к 14 самым авторитетным поисковым средствам. Допускает поиск по любому слову запроса, всем словам или точной фразе. Имеет самые богатые возможности по настройке (пункт верхнего меню - Customize).

Vivisimo

Система обладаем множеством настраиваемых опций. Результаты поиска автоматически сортируются по разделам. Позволяет просматривать превью найденных страниц непосредственно из перечня результатов.

Web Crawler

Ветеран поискового сервиса, перешедший из самостаятельных поисковых ситем в метапоисковый сервис. Отличается высокой скоростью работы и достаточно высоким уровнем релевантности ссылок.

Национальные и региональные справочники и поисковые системы

В настоящее время в большинстве развитых стран существует минимум две-три справочника и поисковых систем, отражающих содержание ресурсов Интернет конкретного государства. Их использование наиболее эффективно при выявлении материалов, расположенных на серверах определенной страны. Российские инструменты поиска отражены .

Африка Wo Yaa Africa Search (http://www.woyaa.com)

Южная Африка Ananzi (http://www.ananzi.co.za)
Zebra (http://www.zebra.co.za)
Aadvark (http://www.aardvark.co.za)

Другие страны EgyptSearch Египет (http://www.egyptsearch.com) Справочник.
Maroc Search Марокко (http://www.maroc.net/search)
Азия 1001sites Ближний Восток и арабские страны Африки(http://www.1001sites.com) Справочник.
Arab Net Ближний Восток (http://www.arab.net)
Asiaco (http://www.asiaco.com) Справочник.
Search Dragon (http://www.searchdragon.com) Справочник.
Китай Ah Shun (http://www.ahshun.com) Справочник.
Network Compass (http://compass.net.edu.cn:8010) Нет англоязычного интерфейса.
ResearchSystem.com (http://www.researchsystem.com) Справочник.
Surf China (http://www.surfchina.com) Справочник.
WhatSite Китай, Тайвань, Гонконг (http://web.whatsite.com) Сервер находится в США. Справочник.
Индия 123India’s Premier search engine (http://www.123india.com)
Khoj (http://www.khoj.com) Справочник.
Гонгонг Balaa (http://www.balaa.com) Справочник.
Globepage - Asian Search Service (http://www.globepage.com)
Goyoyo (http://www.goyoyo.com.hk) Нет англоязычного интерфейса.
Search HK (http://search.hk.org)
Timway (http://www.timway.com) Справочник.
Япония Dragon Next (http://www.dragon.co.jp) Нет англоязычного интерфейса.
Fresh Eye (http://fresheye.com) Нет англоязычного интерфейса.
Goo (http://www.goo.ne.jp) Нет англоязычного интерфейса.
Moshix2 (http://www.moshix2.net)
Okay Japanese! (http://www.okay.co.jp/jpn)
Senrigan (http://senrigan.ascii.co.jp)
Сингапур Golden Village (http://www.goldenvillage.com) Справочник.
NetNet Multimedia Search Engine (http://www.netnet.com.sg)
Poyin (http://poyin.com)
TechnoFIND (http://www.technofind.com.sg)
Южная Корея AnySearch (http://www.anysearch.com) Справочник. Нет англоязычного интерфейса.
Naver (http://www.naver.com) Нет англоязычного интерфейса.
Тайвань SINANET.com (http://www.sinanet.com) Справочник.
YamWeb Navigator (http://taiwan.iis.sinica.edu.tw/en/yam) Справочник.
Другие страны BanglaSearch Бангладеш (http://www.banglasearch.com) Справочник.
CARI Малазия (http://www.cari.com.my)
iGuide Израиль (http://www.iguide.co.il) Справочник.
IndonesiaNet Индонезия (http://www.indonesianet.com/search.htm)
Libanis Ливан (http://libanis.com) Справочник.
Yehey Филлипины (http://www.yehey.com)

Австралия, Новая Зеландия, Океания AccessNZ Новая Зеландия (http://accessnz.co.nz) Справочник.
ANZWERS Австралия (http://www.anzwers.com.au) Uses Inktomi mechanism.

Определение

«Я́ндекс» - российская международная ИТ-компания, владеющая одноимённой системой поиска в Сети и интернет-порталом. Поисковая система «Яндекс» является четвёртой среди поисковых систем мира по количеству обработанных поисковых запросов (свыше 6,3 млрд в месяц на начало 2014 года). По состоянию на 19 июля 2014 года, согласно рейтингу Alexa.com, сайт yandex.ru по популярности занимает 22-е место в мире и первое место в России.

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания «Яндекс» образовался в 2000 году. В мае 2011 года Яндекс провёл первичное размещение акций, заработав на этом больше, чем какая-либо из Интернет-компаний со времён IPO поисковика Google в 2004 году.

Основным и приоритетным направлением компании является разработка поискового механизма, но за годы работы «Яндекс» стал мультипорталом. В 2013 году «Яндекс» предоставляет более 50 сервисов. Некоторые из них – Яндекс.Поиск, Яндекс.Карты, Яндекс.Маркет, Поиск по блогам, Яндекс.Пробки - доминируют на рынке.

1.2 История «Яндекс»

Рисунок 1 – Ворота старого офиса на улице Самокатной

В 1989 году предприниматель и программист Аркадий Волож основал фирму СоmpTek, продававшую персональные компьютеры и занимавшуюся автоматизацией рабочих мест. Также Волож интересовался алгоритмами обработки данных, и его заинтересовала возможность написания приложения, которое могло бы осуществлять поиск информации в больших объёмах текста, учитывая морфологию языка. Совместно со специалистом по компьютерной лингвистике Аркадием Борковским он основал в 1989году компанию «Аркадия». После 1990 года сотрудники «Аркадии» написали информационно-поисковые системы «Международная классификация изобретений» и «Классификатор товаров и услуг». В последующие три года они продавались НИИ и патентным организациям.

Слово «Яndex» придумали Илья Сегалович, директор Яндекса по технологиям, и генеральный директор компании - Аркадий Волож. Илья выписывал разные производные от слов, описывающих суть технологии. В результате появился вариант «yandex» - yet another indexer («ещё один индексатор».

В 1993 году «Аркадию» присоединили к CompTek, в которую ранее пришёл школьный друг Воложа программист Илья Сегалович. В том же году была создана программа для поиска на жёстком диске компьютера. Программу назвали «Yandex». Сотрудничая с Институтом проблем передачи информации, CompTek создала словарь с поиском, который учитывал морфологию русского языка. В 1994 годубыл создан «Библейский компьютерный справочник»

В 1995 году было принято решение об использовании поискового приложения для сети Интернет. Сначала оно работало с ограниченным числом ресурсов, а позже со всем русскоязычным сегментом Интернета .

Официально поисковая система Yandex.Ru была анонсирована 23 сенятбря 1997 года на выставкe Softool. «Яндекс» не был первой поисковой машиной России: в 1996 году появился Рамблер, а ещё раньше, в декабре 1995-году Altavista, причём последняя имела самый производительный на тот момент сервер и отличалась самой высокой скоростью работы среди конкурентов, обрабатывая миллионы запросов в день. Через два месяца после yandex.ru анонсировали поисковую систему «Апорт» (хотя впервые её продемонстрировали ещё в феврале 1996 года).

К середине 1999 года «Яндекс» был в семёрке популярнейших сайтов рунета; выручка «Яндекса» как отдела CompTek’а в этом году составляла 72 тыс. долл.

Рисунок 2-Переговорная в офисе «Яндекса».

В 2012 году выходит Яндекс Браузер. Вскоре программа получает турецкую и украинскую локализации.

Особенности поисковой системы Яндекс (Yandex)

Поисковая система "Яндекс" согласно рейтинга поисковых систем является четвертым среди крупнейших поисковых сервисов мира по количеству обрабатываемых поисковых запросов (более 4,5 млрд. в месяц) и первым крупнейшим неанглоязычным поисковым сервером. Оборот компании по данным о рейтинге поисковых систем в 2012 году составил 28,8 млрд руб, а чистая прибыль - 8,22 млрд руб.

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания "Яндекс" образовался в 2000 году. Компания вышла на самоокупаемость в 2002 году, оборот за 2008 год - более 300 млн. долларов. Оборот за 2006 год - 72,6 млн. долларов, чистая прибыль - 29,9 млн., за 2005 год - 35,6 млн. долларов, чистая прибыль - 13,6 млн.

"Яндекс" постоянно совершенствует свои поисковые алгоритмы, что позволяет ему соответствовать современным критериям поиска и становиться на уровень Google хотя бы в России. Так, например, 9 сентября 2013 года Яндекс запустил новый поиск по картинкам(у Google подобное уже существовало). А пока так и есть, если судить по уровню освоения обоих поисковых систем аудиторией СНГ. "Яндекс", как и Google, работает на кластерной системе организации компьютерных вычислительных сетей. Каждый кластер отвечает за определённый сегмент сохранённой информации. Это позволяет в свою очередь оптимизаторам обеспечить эффективное поисковое продвежение сайтов в поисковой выдаче.

Сканирующие роботы поисковой системы бывают 2 видов:

основной сканирующий робот

быстрый робот, который регулярно сканирует сайты, на которых информация обновляется очень часто, и вносит информацию с этих сайтов в поисковую систему, что обеспечивает быстрое обновление индекса поисковой системы.Обновления (апдейты) поисковой системы бывают 2 видов:

Обновления поисковой базы. Происходят несколько раз в месяц. В поиске начинают выдаваться обновлённые страницы сайтов, собранные основным сканирующим роботом.

Обновления программной части (движка) поисковой системы. Сутью данных обновлений является изменение алгоритмов ранжирования документов в поисковой системе. Обычно подобные обновления анонсируются и им даются определённые названия.

"Яндекс" учитывает морфологию русского языка (мощная система определения словоформ), имеет возможность сузить запрос до максимально точного при помощи специальных поисковых формул и геотаргетинга, имеет качественно разработанный алгоритм оценки релевантности документов (точность отношения текста документа к поисковому запросу), обладает высокой скоростью реакции на запросы и практическим отсутствием перегрузок серверов. В умелых руках оптимизатора такой алгоритм позволяет решить вопрос, как продвинуть сайт бесплатно в поисковой выдаче.

Популярность

На начало 2013 года «Яндекс» является четвёртым поисковиком планеты с 4,84 млрд поисковых запросов. По этому показателю он отстаёт лишь от Гугла, Байду и Яху!. Причём, нужно отметить, «Яндекс» является самым быстрорастущим поисковиком из первой пятёрки, с 28 % за 2012 год. Доля на рынке Рунета составляет 60,5 %. Количество ежедневных поисковых запросов составляет (на конец 2013 года) 250 миллионов.

Таблица 1 Показатели за 2002 и 2012 год

По данным на начало 2010 года, «Яндекс» проиндексировал 10 млрд страниц. В интервью за 2012 год глава компании Аркадий Волож объявил о масштабировании поиска по мировому интернету и запуске технологии, которая позволит «индексировать несколько десятков миллиардов страниц».

Страницу результатов поиска в 2012 году пользователи загружали 130 миллионов раз в день.

В 2008 году «Яндекс» был девятым поисковиком в мире, в 2009 - седьмым, в 2013 - четвёртым.

По словам Игоря Ашманова, «сейчас в Рунете „Яндекс“ ищет лучше, чем Google».

Согласно исследованию Качество поиска и поисковых систем в Рунете за 6 апреля 2011 года, «Яндекс» лидирует на российском рынке по навигационному и тематическому поиску, по количеству проиндексированных документов, по качеству регионального поиска, в его выдаче невысок уровень поискового спама.

Руководство

Рисунок 3-Аркадий Волож

Рисунок 4-Илья Сегалович- директор по технологиям и разработке

Аркадий Волож - генеральный директор.

Илья Сегалович (1964-2013) - директор по технологиям и разработке.

Александр Шульгин - финансовый директор

Алексей Третьяков - коммерческий директор.

Андрей Себрант - директор по маркетингу сервисов.

Екатерина Фадеева - директор по правовым вопросам.

Аркадий Борковский - технический директор Yandex Labs

Максим Киселёв - директор по развитию бизнеса

Похожая информация.

Сравнительно недавно мир увидел новое творение от корпорации Яндекс — Yandex.Browser. Базируется на обычном движке Chromium, а интерфейс был полностью переработан и отличителен.

Практически все характеристики новой программы находятся на приличном уровне и кроме этого разработчики от Яндекс внедрили туда несколько собственных новых технологии. Обладает целой серией сервисов, которые были ранее выпущены под эгидой Yandex.

Имеет ряд преимуществ: улучшена функция проверки орфографии, можно осуществлять просмотр документов прямо в браузере (поддерживаются такие популярные форматы, как DOCX, PDF, PPTX и другие), можно переводить слова прям на странице и многое другое. Помимо всего прочего присутствует режим «Турбо», мир увидел его значительно ранее в функциях другого популярного браузера от Opera. Когда данный режим активирован, софт получает все данные в сжатом виде, и не будет загружать самые «объёмные» элементы. Таким образом, можно очень значительно сократить объём всей поставляемой информации и соответственно порядком ускорить загрузку страниц. Попробуйте программу в действии, нужно всего-то скачать Яндекс браузер на компьютер и установить, запустив скаченный exe файл.

У Яндекс браузера отсутствует полноценная галерея. Стоит обратить внимание на раздел «Дополнения», там есть пятнадцать разных дополнений. Кроме этого, можно интегрировать дополнения от Chrome, они не коим образом не конфликтуют с содержимым Yandex.

Немного истории.
Веб-обозреватель впервые появился на просторах сети Интернета в октябре 2012 года. На сентябрь 2013 года приложением уже пользовалось более 5 миллионов человек. Каждый день количество пользователей Яндекс.Браузера растет и растет, стоит отметить, очень быстро. Уже сегодня, в России и странах СНГ, Yandex.Browser вышел в лидеры и занял первое место по числу пользователей.

Многие пользователи хвалят приложение за стабильную работу, хорошую скорость и уникальный набор функций. Следует отметить, что поиск по страницам работает не только по точечным совпадениям, но и по другим формам (фразы или слова). Подобная функция отсутствует в любых других веб-обозревателей. Вместо «горячих» клавиш можно использовать жесты мышью (закрыть вкладку, восстановить вкладку, перейти вперёд и т.д.). В адресную строку можно вводить не только ссылки на нужные сайты, но и поисковые запросы.

Браузер от Яндекса анализирует ваши запросы и предоставляет поисковые подсказки. Новая технология также порядком экономит время и автоматически исправляет ошибки в адресе сайта. При этом вовсе не обязательно вбивать точный адрес, приложение знакомо со всеми популярными сайтами и будет их открывать, сразу после того, как вы введёте название.

Приятным дополнением к интерфейсу веб-обозревателя является панель быстрого запуска. На ней будут располагаться плитки с ссылками на те сайты, которые вы будете посещать чаще всего. Кроме этого, будет отображаться другая полезная информация: количество не просмотренных сообщений в почте, погода, пробки, новости и многое другое. Это очень удобно.

Безопасность.
Сейчас в сети можно встретить очень много разных сайтов с троянами и прочим вредоносным ПО, но Яндекс.Браузер предоставляет своим пользователям солидный уровень безопасности, поскольку сотрудничает с не безызвестной лабораторией Касперского, и всегда будет осуществлять проверку тех ресурсов, которые вы будете посещать на наличие вредоносных программ. Помимо всего прочего браузер от Яндекса будет всегда сохранять вкладки, настройки и многое другое. Вы сможете получить к ним доступ с любого компьютера, просто нужно будет активировать свой профиль.

Здравствуйте, дорогие читатели. Сегодняшняя тема не оставит равнодушным ни одного владельца сайта, ведь в этой статье я приведу описание поисковой системы Яндекс – лидера среди российских поисковиков. Что ни говори, грамотное использование её ресурсов – ключ к успешному продвижению и росту посещаемости вашей площадки.

Итак вперед к прочтению статьи.))

Возможности Yandex

Начнём, пожалуй, с характеристики самой ПС, которая в России занимает первое место среди (после Google), и является несомненным лидером среди российских браузеров. Сегодня это не только эффективная ПС, но и масса удобных для пользователя сервисов.

Заведя всего один аккаунт в системе (ваш почтовый ящик) вы получаете доступ к таким сервисам как , возможность вести собственный блог, приобретать авиабилеты, хранить файлы на диске и делиться ими с другими пользователями и т.п.

Поиск возможен не только по запросу в привычной поисковой строке, но и в каталоге сайтов. Это тематический рубрикатор, где, выбрав раздел, вы получаете результаты выдачи по нужной тематике. Именно поэтому если у вас уже есть виртуальное представительство, не забудьте включить его в базу. Для этого нужно просто заполнить информацию на этой странице: https://yaca.yandex.ru/add_free.xml.

Для вебмастера здесь есть масса всевозможных вкусностей, которые значительно облегчают работу:

• Метрика позволяет эффективно анализировать площадки, учитывая не только количество посетителей, но и их активность. Учитывается и скорость загрузки страниц – важный параметр оптимизации. Для индивидуализации получаемых отчетов вы можете использовать фильтры.
• Директ — это служба контекстной рекламы, помогающая вам в продвижении площадки, если ваша цель состоит в увеличении популярности, или заработке на посещаемости ресурса, если вы размещаете на нём объявления. Это одна из крупнейших рекламных сетей в Рунете, поэтому не стоит недооценивать её как источник трафика.
• Wordstat нужен для получения статистики запросов по интересующим вас ключевым словам. С его помощью можно подобрать базовые ключи ещё до начала работы.

Основной инструмент продвижения – панель вебмастера. Здесь можно отследить факт индексации системой, провести анализ позиций сайта в рейтинге ПС, добавить в систему созданную карту сайта, увидеть региональные различия в результатах выдачи и т.п.

После авторизации в сервисе (войти с логином и паролем от почтового ящика Яндекс) необходимо добавить ресурс и подтвердить свои права на него. Для этого на главной странице вебмастера: https://webmaster.yandex.ru/ нажимаем кнопку «добавить сайт» и вводим туда нужные данные. Для подтверждения своих прав, вам потребуется добавить на сервер файл с указанным программой содержимым и дождаться проверки роботом.

После этого ваши возможности существенно расширятся. К примеру, пользователи, прошедшие подобную верификацию, могут добавлять виджеты на главную страницу поисковика. Изучить варианты использования всех служб можно с помощью специального курса для вебмастеров, материалы которого доступны здесь.

Зачем нужны обновления в Яндексе?

Обновления, или иначе апдейты – ключевой момент в продвижении в этой поисковой системе. Неслучайно все владельцы ресурсов ждут новостей о них с особым вниманием. Это общее обновление поисковой базы, в результате которого меняются позиции сайтов в рейтинге ПС.

В ходе данного процесса происходит учёт изменений, внесённых владельцем с момента предыдущего апдейта, в результате следует повышение или понижение места в рейтинге. Если при анализе ресурса найдены серьёзные нарушения, возможен бан, то есть исключение из результатов поиска.

Вновь попасть в него можно только при следующем апдейте, если нарушения будут устранены. Таким образом, в промежутке между ними результаты выдачи по конкретным запросам не изменяются.

Возможно, при первом знакомстве алгоритм взаимодействия с данным поисковиком выглядит сложным. Однако, приложив определённые усилия, в нём вполне реально разобраться, даже не имея опыта продвижения. Надеюсь, что вам было интересно. Не пропустите — новые полезные материалы на моём блоге уже совсем скоро – подписывайтесь на обновления! Пока-пока.

С уважением, Роман Чуешов

У Яндекса достаточно быстрая ПС, после 2-4 часов регистрируемая страница появляется в выдаче. Но это означает лишь то, что она поставлена в очередь на полную индексацию. После того, как сайт проходит полную индексацию, она может пропасть со страницы выдачи, если робот сочтет ее за спам, либо из-за каких-нибудь технических проблем. Если ваш ресурс после первичной проверки вышел на первые места по тому или иному запросу, то после полной индексации, возможно, он будет совсем на других позициях. Положение нужно отслеживать в течение нескольких дней.

Не стоит волноваться, если попадете в следующую ситуацию:

Страница после полной индексации заняла хорошую позицию. Но после одной из проверок ее место в списке результатов ниже, чем обычно. А на следующий день — опять все по-прежнему. Список результатов может меняться в зависимости от загруженности серверов. Это происходит потому, что база данных имеет кластерную структуру и разнесена на несколько серверов.

В 2009 году Яндекс внедрил новый метод машинного обучения - Матрикснет. С его помощью строится формула ранжирования. Важная особенность этого метода - в том, что он устойчив к переобучению. Это позволяет учитывать очень много факторов ранжирования - и при этом не увеличивать количество оценок асессоров и не опасаться, что машина найдет несуществующие закономерности.

С сайта yandex.ru

Советы по оптимизации:

• Не нужно делать очень маленькие или очень большие документы. Яндекс любит документы средних размеров, насыщенные текстом (статьи и т.п.). Следует умеренно повторять ключевые слова. Ключевые слова можно писать в ALT описании, но вес слов в этом тэге ниже.
• Хорошо индексируются страницы, созданные скриптами cgi, php. Это касается гостевых книг, форумов и т.п. Для остальных (кроме главной) требуется примерно 2 недели.
• Если портал на русском языке, а домен не в зоне.ru, то Яндекс все равно проиндексирует.

Поисковый маркетинг

Стоимость поискового маркетинга индивидуальна. Она зависит от набора услуг, которые будут применяться в процессе продвижения. В свою очередь пакет услуг формируется в зависимости от типа сайта, его текущего состояния, а также от позиции в ранжировании.

Стоимость от 40 000 рублей

UserAgent

Имя поискового робота: Yandex/1.03.00х, где х — тип паука, в зависимости от типа индексации (первичная, полная).

Поддержка мета-тэгов

Мета-тэги keywords и description: ключевые слова в них не помогают достигать хороших позиций. В мета-тэгах нужно писать лишь те слова, которые встретятся в тексте страницы.

Тег description используется в описании страницы в результатах поиска. Это нужно учитывать при его составлении, т.к. это будет один из критериев, по которым пользователь решает, заходить на сайт или нет.

Мета-тэги, такие как revisit-after, content — не поддерживаются.

Советы по улучшению позиции сайта.

• Прописывайте ключевые слова в тегах: Title, заголовки (h1-h6), содержание страницы, ALT.
• В формулу вычисления релевантности включен Взвешенный Индекс Цитирования, аналог Page Rank в Google. Обычный Индекс Цитирования используется только при сортировке порталов в каталоге Яндекса. Влияние на положение в результатах поиска оказывает ВИЦ.

Спам

Разработана технология определения спама, но пока она является крайне неэффективной. Команда разработчиков работает над этим.