Новейший самоучитель по работе в ИНТЕРНЕТ


6. Поиск информации в WWW
Основы поисковых служб
Поисковые каталоги
Поисковые указатели (индексы)
Сбор информации поисковыми роботами
Индексация ресурсов
Исполнение запроса клиента
Сравнение поисковых каталогов и указателей
От чего зависит качество поиска
Гибридные системы
Метапоисковые системы
Порталы
Рейтинговые службы
Основные поисковые системы
AltaVista
Ask Jeeves
Direct Hit
Excite
FAST Search
Go/Infoseek
GoTo
Google
HotBot
Inktomi
LookSmart
Lycos
MSN Search
Netscape Search
Northern Light
Open Directory
RealNames
Snap
WebCrawler
Yahoo!
Отечественные поисковые службы
Aport
Атрус (@Rus)
Rambler
Яndex
Приемы простого поиска информации в WWW
Ловушка для начинающих
Сложение наоборот
Арифметика вычитания
Применим джокера
Контекстный поиск
Роль прописных букв
Поиск по заголовкам
Поиск Web-узлов
Поиск URL-адресов
Поиск ссылок
Средства расширенного поиска
Команда OR
Команда AND
Команда NOT
Команда NEAR
Вложение команд
Выбор поисковой службы
Как проверить незнакомую поисковую службу
Реферативный поиск
Углубленный поиск
Специальный поиск
Поиск скомпрометированной информации
Контекстный поиск
Поисковые средства браузера
Выводы и рекомендации
Новые технологии поисковых систем
Кризисные явления в технологии поиска
Что происходит на самом деле
Возможные перспективы
Автоматические каталоги
Первые ласточки?
Феномен "Alexa"


6. Поиск информации в WWW

Чтобы получить информацию или услугу в WWW, их надо, прежде всего, разыскать, а поиск информации - непростая задача. По состоянию на начало 2000 г. ресурсы Web оцениваются более чем в 850 миллионов Web-страниц.

Разумеется, рост Web-пространства в геометрической прогрессии не будет продолжаться вечно. Когда-то наступит момент насыщения. Можно пред положить, что темпы развития WWW замедлятся на рубеже 3-4 млрд Web-страниц. Одной из причин замедления, в частности, станет ограниченность поля IP-адресов. Впрочем, к тому времени, наверное, уже заработает Интернет-2, и все будет по-другому.

Для поиска информации в Сети используются специальные поисковые службы. Обычно поисковая служба - это компания, имеющая свой сервер, на котором работает некая поисковая система. Услуги абсолютного большинства поисковых служб бесплатны, но, тем не менее, по темпам роста сегодня это самый эффективный бизнес в мире. Всего за несколько лет такие службы как Yahoo!, Alta Vista, Inktomi и некоторые другие развились от лабораторных проектов с бюджетом в десяток-другой тысяч долларов до компаний, стоимость которых составляет 10-15 миллиардов долларов. Такого темпа приращения капитала мир еще не знал, особенно для бесплатных (для конечного пользователя) услуг.

При этом интересно отметить, что нища бизнеса далеко не освоена, и ниже мы увидим, как буквально в считанные месяцы из хорошей идеи "с нуля" рождаются новые гиганты.

Вверх

 

Основы поисковых служб

Сегодня пользователь World Wide Web оказывается в той же ситуации что и читатель крупной библиотеки. Чем больше фонды библиотеки, тем труднее найти именно ту книгу, которая сейчас нужна. Для упрощения поиска в библиотеке существуют каталоги: систематический, алфавитный, предметный и другие. Существуют и специализированные каталоги, например каталоги новых поступлений.

Мощная поисковая система принимает в сутки 30-50 миллионов посетителей и демонстрирует им сотни миллионов рекламных баннеров. При том, что каждый щелчок пользователем на рекламном баннере оплачивается не менее чем одним центом, совокупный доход только от демонстрации рекламных баннеров может составлять до 100 000 $ в сутки. Это одна из причин огромной прибыльности "бесплатных" услуг.


В Сети поиск обеспечивают специальные поисковые службы. Умение пользоваться ими, собственно говоря, и составляет умение пользоваться Интернетом. Все поисковые системы WWW основаны на гиперссылках. Обращаясь к поисковой службе, мы формулируем запрос, в котором формально описываем то, что хотим найти. Проведя нужные операции, служба формирует Web-документ, состоящий из гиперссылок, ведущих к ресурсам WWW, соответствующим нашему запросу. Какой из этих гиперссылок мы воспользуемся - дело наше.

Несмотря на то, что результат всегда един (клиент получает список рекомендованных гиперссылок), принцип действия у разных поисковых служб может быть различным. Ниже мы рассмотрим, как классифицируются поисковые службы по типам предоставляемых услуг, а также по способам формирования своих ресурсов. Последнее очень важно для эффективной работы не только пользователей, но и Web-мастеров. Пользователи должны учитывать способ формирования баз данных, чтобы знать, на что они могут рассчитывать при поиске информации, а Web-мастера должны это знать, чтобы добиться наилучшего представления своих ресурсов в основных поисковых службах мира.

Вверх

 

Поисковые каталоги

Поисковые каталоги похожи на предметные каталоги общественных библиотек. На начальной странице поискового каталога мы выбираем тему, которая нас интересует, затем в рамках темы выбираем категорию, потом подкатегорию, и так далее, пока не получим конкретный список Web-ресурсов, рекомендованных для просмотра. Крупнейшим поисковым каталогом мира сегодня считается поисковая система Yahoo! (www.yahoo.com) (рис. 6.1). Она предоставляет примерно 1 млн ссылок к ресурсам WWW, то есть охватывает чуть более тысячной доли всего Web-пространства.

Основным недостатком и, в то же время, достоинством поисковых каталогов является "человеческий фактор". Данные, которые заносятся в каталог, проходят "ручную обработку". Сегодня на Yahoo! работают до 150 редакторов, ежедневно просматривающих Web-пространство в поисках наиболее ценных ресурсов по темам, вызывающим общественный интерес. Кроме собственных редакторов служба использует и информацию, поставляемую Web-мастерами. Так, например, теоретически любой владелец Web-страницы может самостоятельно заполнить положенную анкету и направить ее в адрес службы. Правда, гарантии, что страница будет включена в каталог Yahoo!, это не дает, поскольку служба не замусоривает свои каталоги ссылками на страницы-однодневки. Клиентов службы всегда раздражают ссылки, указывающие на давно несуществующие ресурсы. Чтобы не иметь особой головной боли по проверке актуальности хранящихся ссылок, служба Yahoo! предпочитает скрупулезно подходить к формированию своих каталогов. Тщательность в подборе информации обеспечивает высокую репутацию Yahoo!, несмотря на то, что совокупный объем ее ресурсов крайне мал.

Другой подход к формированию каталога демонстрирует поисковая служба Open Directory (dmoz.org). В качестве источника для своих ресурсов она привлекает пользователей WWW, которые на добровольной основе могут обозревать понравившиеся им Web-страницы, каталогизировать их и размещать ссылки на них на центральном сервере службы. Поскольку число добро вольных помощников может быть очень большим, у этой службы есть все шансы перекрыть успех Yahoo!. Но принцип добровольности не гарантирует качественности работы, поэтому каталоги, равные Yahoo по качеству, по-видимому, появятся еще не скоро. Однако есть и другие подходы, основанные, например, на SMART-технологии, и мы их тоже рассмотрим.

Вверх

 

Поисковые указатели (индексы)

Принцип действия поискового указателя похож на принцип действия предметного каталога библиотеки. Пользователь формирует запрос с помощью ключевых слов, выражающих объект его поиска, а поисковая система выдает ему список ссылок на Web-страницы, содержащие данные ключевые слова. Если мы хотим найти информацию, посвященную взаимоотношениям А. Вольта с Н. Бонапартом, можно задать поиск документов, в которых одновременно встречаются слова Вольта и Бонапарт, например так:

+Вольта +Бонапарт

или так:

Вольта AND Бонапарт

Основное отличие поисковых указателей от поисковых каталогов состоит в полной автоматизации всех этапов работы. Здесь отсутствует "человеческий фактор", и потому количество Web-страниц, к которым ведет поисковый указатель, намного больше. Летом 1999 г. крупнейшие поисковые указатели преодолели 200-миллионный рубеж и, как сообщают, следующий рубеж (300-миллионный) будет взят в 2000 г.

Вверх

 

Сбор информации поисковыми роботами

Поисковые указатели работают в три этапа. Создание поисковой системы начинается с разработки специальной агентской программы, которая способна путешествовать по Web-узлам Интернета, просматривать Web-страницы и копировать их содержание на центральный сервер поисковой системы. Такие агентские программы называют "червяками", "пауками", "поисковыми роботами" (сокращенно "ботами"), "поисковыми машинами", "краулерами" и т. п. Многообразие названий связано с тем, что каждая поисковая система создает свою собственную, неповторимую программу и дает ей свое имя, которое впоследствии становится нарицательным. Большинство современных поисковых систем начинались с того, что в 1993-94 годах в университетских лабораториях были разработаны экспериментальные программы для мониторинга Сети.

Если при чтении Web-страницы поисковый робот находит на ней ссылки на другие страницы того же Web-узла, он переходит по этим ссылкам, читает их содержание и так далее. Как червяк, он проникает в самые отдаленные закоулки WWW.

Вверх

 

Индексация ресурсов

Второй этап работы поисковой системы - индексация. Собрать на цен тральном сервере образы сотен миллионов Web-страниц - это одно дело, а суметь выбрать те из них, которые нужны клиенту, сформировавшему запрос, - совсем другое. Отвечать надо очень быстро, а для этого данные надо хранить не как попало, а в виде специальных структур. Процесс пре образования данных из той формы, в которой они хранятся на Web-страницах, в другие формы, удобные для быстрого просмотра, называется индексацией. В результате индексации и образуется база данных, которую называют поисковым указателем (индексом).

У каждой поисковой системы свои приемы и методы индексации. В частности, перед индексацией большинство систем очищают документ от зарезервированных слов (stop-words), к которым относятся артикли, предлоги, союзы, местоимения и другие слова, имеющие менее 4 символов. Однако не только короткие слова могут быть зарезервированными. Очень распространенные слова, такие как Computer и Internet тоже резервируются. Искать что-то по ним бесполезно, так как они встречаются повсеместно.

Специализированные поисковые службы могут использовать и другие слова в качестве зарезервированных. Например, если служба занимается поиском книг (books), то слово book для нее может считаться зарезервированным.

На этапе подготовки к индексации может происходить нормализация слов (stemming) за счет отбрасывания суффиксов и окончаний. После такой "зачистки" фраза типа "Мы с братом любим ловить рыбу" превращается в нечто похожее на "брат люб лов рыб". Исходный документ может быть найден при поиске по ключевым словам "брат", "любовь", "ловить", "рыба", но никогда по словам "мы" или "с".

Некоторые системы производят нормализацию всегда. Ряд систем, базирующихся на службе Inktomi (см. ниже) могут действовать как тем образом, так и другим. Служба Alta Vista не производит нормализацию никогда, и это ее уникальная особенность, которая, как будет показано ниже, активно используется для контекстного поиска.

На основе "зачищенного" документа готовится индекс. Индекс - это особая база данных, созданная специальным образом, чтобы ускорить поиск. Существует множество методов индексации. Разумеется, они не разглашаются. Как и поисковый робот, алгоритм индексации составляет коммерческую тайну поисковой службы, поэтому в качестве примера мы приведем лишь простейший тип индекса - так называемый обратный файл.

Суть обратного файла состоит в том, что составляется словарь из всех слов, встреченных во всех документах, собранных поисковым роботом, а затем для каждого слова записывается группа чисел, указывающих на то, в каких документах оно встречается, насколько часто, а также кое-какая служебная информация.

Вверх

 

Исполнение запроса клиента

Третий этап - ответ на запрос клиента. Лучшие поисковые системы в ответ на запрос просматривают свои индексы за десятые доли секунды и немедленно возвращают списки ссылок, ведущих к затребованным ресурсам. Работа происходит следующим образом.

Система анализирует ключевые слова, которые клиент использовал в запросе. С ними производятся те же операции освобождения от зарезервированных слов и нормализации, после чего выполняется поиск совпадений с содержимым поисковых индексов. Эти операции в большинстве поисковых систем происходят примерно одинаково, но самая последняя операция, когда по найденным совпадениям формируется итоговый список ссылок, всегда различается. У каждой поисковой системы своя политика формирования результирующего списка.

Если найдено очень много ссылок на ресурсы, удовлетворяющие запросу, то встает проблема их упорядочения. Здесь важно, какие ссылки дать в начале списка, а какие - в конце, то есть, надо вводить какой-то рейтинг. Разные поисковые системы имеют разные рейтинговые системы. При исчислении рейтинга учитывается множество параметров. За некоторые начисляются положительные баллы, а за некоторые - наоборот штрафные. Положительный рейтинг начисляется, в частности, при следующих обстоятельствах:

  • если разыскиваемые слова встречаются на Web-странице неоднократно (но не слишком часто, и не подряд);
  • если они расположены близко к началу страницы;
  • если эти слова присутствуют в заголовке страницы;
  • если Web-страница имеет ллюстрацию, альтернативный текст которой тоже содержит слова, введенные пользователем.

Лучшие поисковые системы недавно ввели новый подход к рейтингованию. Они учитывают количество ссылок в проиндексированном пространстве Web, ведущих к данному ресурсу. Это естественно, ведь чем больше публикаций ссылаются на данную страницу, тем она популярнее и тем выше вероятность того, что она будет полезной автору запроса. В традиционном библиотечном деле такой подход известен. Например, в США давно издается многотомный ежегодный "Индекс цитирования" (Citational Index), в котором каталогизируются ссылки разных авторов на первоисточники. Это непростой технически, но очень полезный для клиентов метод индексации ресурсов.

К современным относятся и коммерческие хитрости. Относительно недавно некоторые поисковые системы (в том числе и такая известная, как Alta Vista) начали повышать рейтинг тем, кто готов за это платить. Такой под ход выглядит не очень красиво, но с точки зрения владельцев поисковых систем оправдан извечным тезисом "заботы о потребителе". Они заявляют, что для потребителя ценность информации на странице солидной фирмы, готовой нести расход на свою рекламу в Сети, все-таки выше, чем ценность доморощенной страницы никому не известного студента. Возможно, что они и правы. Во всяком случае тот, кто заплатил деньги за рейтингование своей страницы, наверное будет больше уделять внимания ее качеству, чем тот, кто сделал ее впопыхах и пристроил на первом попавшемся бесплатном сервере.

Вверх

 

Сравнение поисковых каталогов и указателей

У каждого из двух основных типов поисковых служб есть достоинства и недостатки. Поисковые каталоги формируются вручную с помощью живых людей. Поэтому, как правило, если мы находим в них нужный нам ресурс, то этот ресурс - один из лучших в Сети. Он не обязательно самый лучший и, может быть, лишь входит в первую двадцатку, но он явно не случаен и может рассматриваться как рекомендованный. Ответственные редакторы поискового каталога, имеющие солидное образование в большинстве областей науки, техники и культуры, не будут включать в свой каталог очевидную ерунду. Поисковые каталоги удобнее и тем, что там не бывает десятков ссылок на один и тот же ресурс, размещенный в разных местах или проиндексированный в разное время. В общем, если надо быстро найти лучший источник по какой то теме, надо начинать поиск с поискового каталога.

Недостатком поисковых каталогов является их слабое знание о подлинных ресурсах WWW, которое с каждым днем падает в относительном измерении. Как мы уже говорили, крупнейший поисковый каталог Yahoo! за шесть лет своей работы довел количество обработанных ресурсов до миллиона, в то время как каждый год появляются сотни миллионов новых Web-страниц.

Поисковые указатели черпают свою исходную информацию от поисковых роботов, день и ночь ползающих по просторам WWW. Процесс сбора информации полностью автоматизирован, поэтому объем проиндексированного пространства намного больше, чем у поисковых каталогов. Сегодня этот показатель превышает 25% общего пространства Сети. С другой стороны, отсутствие человеческого фактора сказывается на качестве того, что можно найти через поисковые указатели. Для робота совершенно все равно, написана ли статья по физике академиком или школьником. При рейтинговании робот может даже поставить страницу школьника выше.

Поэтому поисковые каталоги лучше использовать для ознакомительного поиска, когда тема известна, а предпочтений нет, например при подготовке школьного реферата на тему "Теория относительности". Каталог быстро выведет вас на Web-узел, на котором вы либо найдете то, что хотели, либо получите ссылки на другие полезные ресурсы. А поисковые указатели стоит использовать для более глубоких или экзотических розысков. Например, человеку, которому о теории относительности и так уже все известно, вряд ли поможет поисковый каталог, имеющий ссылки на общеизвестные Web-ресурсы. А поисковый указатель, проиндексировавший 300 миллионов Web-страниц, может ему предложить какой-то уникальный отчет о семинаре, проведенном в университете штата Айдахо или в Новосибирске.

Вверх

 

От чего зависит качество поиска

Как нетрудно догадаться, достоинства поисковых каталогов являются недостатками поисковых указателей и наоборот. Основных параметров, с помощью которых оценивают качество поисковых систем, всего два: коэффициент попадания и коэффициент охвата.

Коэффициент попадания показывает, какой процент ссылок, выданных поисковой системой, действительно относится к той теме, которая интересует клиента. Для поисковых каталогов этот коэффициент очень высок. Поскольку их составляют люди, появление " мусорной " ссылки - редкость. Обычно она возникает только когда за время, прошедшее после регистрации, Web-страница перестает существовать. Для каталогов этот коэффициент составляет порядка 70-80%, и уж во всяком случае не должен быть менее 50%.

Для поисковых указателей этот коэффициент печально низок. Если не предпринимать специальных мер, он составляет единицы процентов. Причина лежит, во-первых, в том, что автоматические средства не могут точно выявлять тематическую принадлежность Web-страниц на основе формальных признаков, а во-вторых, в том, что большинство клиентов не умеют пользоваться всеми возможностями поисковых систем и формируют задание на поиск далеко не оптимально.

Коэффициент охвата показывает, насколько база данных поисковой системы отражает истинное количество информации, имеющейся по данной теме в мире. Здесь впереди поисковые указатели. Самые совершенные из них имеют коэффициент охвата порядка 25%. Поисковые каталоги, наоборот, не охватывают и одного процента всех наличных ресурсов.

С точки зрения пользователя качество поиска означает стремление получить как можно больше ссылок по интересующей его теме, но так, чтобы в результирующем списке было как можно меньше ссылок, не имеющих прямого отношения к объекту поиска. Пользователь желает, чтобы каждый из коэффициентов был близок к 100%. Его субъективная оценка качества поисковой системы напоминает произведение коэффициента попадания на коэффициент охвата. Сегодня же и для поисковых каталогов, и для поисковых указателей это произведение составляет десятые доли процента.

Несмотря на то, что ресурсы поисковых указателей в сотни раз выше, чем поисковых каталогов, пользователи одинаково часто применяют оба эти средства. Это связано с тем, что субъективная оценка качества поиска для них одинакова. Им одинаково плохо, когда система "знает мало", и когда она "знает" так много, что не может представить это знание в удобном виде.

Вверх

 

Гибридные системы

В стремлении повысить качество работы поисковых служб есть попытки совместить оба подхода. При этом возможны два варианта: поисковые каталоги привлекают возможности поисковых указателей, переадресуя им запрос. Например, до последнего времени поисковый каталог Yahoo переадресовывал особо сложные запросы поисковому указателю Alta Vista. Сегодня Yahoo! привлекает средства другого партнера - Inktomi.

С другой стороны, поисковые указатели научились выполнять автоматическую каталогизацию своих ресурсов и предоставлять к ним доступ так, как это принято в поисковых каталогах. Пример такого подхода являет самый мощный сегодня поисковый указатель Fast Search (рис. 6.2).

Вверх

 

Метапоисковые системы

К метапоисковым системам относится множество поисковых служб второго эшелона. Они принимают от пользователя запрос и размещают его сразу на нескольких поисковых серверах. Потом они собирают поступившую от них информацию, обобщают ее, структурируют, рафинируют (очищают) и передают клиенту. Увеличенное время исполнения запроса компенсируется улучшенным качеством результатов поиска.

Первое время крупные поисковые системы спокойно смотрели на существование "под собой" метапоисковых систем. Однако в последнее время в связи с бурным развитием идеи порталов все чаще и чаще встречаются запреты на метапоиск. А если говорить точнее, крупные поисковые системы начали заниматься им сами, привлекая ресурсы коллег на взаимовыгодной основе.

Вверх

 

Порталы

Входя в World Wide Web с помощью браузера, мы попадаем на какую-то страницу, которая задана в настройках браузера в качестве начальной. Пользователь может легко перенастроить свой браузер на работу с другой начальной страницы. Какую именно страницу он будет использовать - его личное дело. Опыт показывает, что очень удобно иметь в качестве начальной страницы такую, на которой уже представлено несколько ссылок на основные поисковые системы. Удобно здесь же иметь доступ к электронной почте. Неплохо, если на этой странице всегда отображаются последние новости из мира политики, искусства, спорта, бизнеса и т. п. Такие "готовые" начальные страницы называются порталами. В мире существует множество порталов - настройте свой браузер на тот, который наилучшим образом соответствует вашим личным интересам. Хорошие порталы предоставляют пользователю возможность персональной настройки "под себя". Надо только включить флажки против тех поставщиков информации, которые вам интересны, и выключить у тех, которые для вас неактуальны.

Борясь за клиентов, многие поисковые системы превращаются в порталы. Это означает, что они не только готовы поставлять результаты поиска, но и способны выполнять другие услуги. Часто название порталов начинается со слова My (Мой/Моя/Мое). Например, если на поисковых системах Yahoo!, Alta Vista или DejaNews вам предлагают подписаться на службу MyYahoo, MyAltaVista или MyDejaNews, то, значит, речь идет о том, чтобы стать постоянным клиентом удобного портала.

Другой причиной того, что поисковые системы постепенно превращаются в порталы, стал тот факт, что им стало трудно одновременно и "копировать" пространство WWW, и индексировать гигантские базы данных, и обслуживать запросы клиентов. Поисковые системы начинают распределять обязанности. Задачи по контролю за Web-пространством постепенно передаются на партнерских основаниях "третьим" фирмам, а сами поисковые системы сосредоточиваются на обслуживании клиентов и привлечении рекламодателей, то есть превращаются в порталы.

Вверх

 

Рейтинговые службы

В последние три года появился новый тип служб, позволяющих быстро разыскивать информацию в Сети, - это так называемые рейтинговые службы. Они занимают промежуточное положение между поисковыми службами и порталами и могут использоваться как в том, так и в другом качестве.

Суть рейтинговой службы состоит в том, что на ее сервере создаются тематические списки ссылок на наиболее популярные Web-ресурсы. Хоть эти списки и небольшие, представительность их велика, поскольку именно эти ссылки предпочитают большинство клиентов Сети.

Когда мы выбираем одну из ссылок, представленных на сервере службы, зарабатывает счетчик, и рейтинг этого ресурса увеличивается. Каждый следующий посетитель видит, сколько "нащелкали" его предшественники, и понимает, какой ресурс ему стоит посмотреть. Поиск с помощью рейтинговых служб можно рассматривать как поиск "по рекомендациям". Разумеется, он не может претендовать на объективность, но когда речь идет о темах, имеющих общественный интерес, таких как новости, политика, спорт, кино, музыка, компьютерные игры и т. п., этим "рекомендациям" можно доверять. Самая популярная отечественная рейтинговая служба - Rambler (www.rambler.ru). Наиболее популярная зарубежная рейтинговая служба - Webside Story (www.hitbox.com) (рис. 6.3).

Вверх

 

Основные поисковые системы

AltaVista http://www.altavista.com/

По количеству индексированных Web-страниц Alta Vista - одна из крупнейших (но не самая крупная, как это иногда считается) поисковых систем мира. Огромный объем охвата Web-пространства и мощный набор поисковых команд делают эту систему излюбленным средством поиска для большинства пользователей. Система была запущена в эксплуатацию в декабре 1995 г. и долгое время считалась молодой, но бурно развивающейся. Для начинающих система имеет упрощенную службу, которая называется Ask Alta Vista. В своей работе эта служба привлекает другую поис ковую службу - Ask Jeeves (см. ниже). Несмотря на то, что сегодня Alta Vista уже не является самым удобным средством поиска и владеет не самым большим индексом, ее популярность по-прежнему выше, чем у служб, которые превзошли ее по многим показателям, что связано с устоявшимися привычками миллионов пользователей.

Ask Jeeves http://www.askjeeves.com/

Эта система представляет образец человеческого (неавтоматизированного) подхода к индексации и хранению информации о Web-документах. Ее цель не в том, чтобы выдать в ответ на запрос как можно больше возможных ссылок, а в том, чтобы они были наиболее точны. В идеале система должна вас направить именно к той Web-странице, которая вам как раз и нужна. Система была введена в эксплуатацию в июне 1997 г. Результаты поиска в этой системе используются и при размещении запроса в Alta Vista.

Direct Hit http://www.directhit.com/

Систему Direct Hit можно назвать системой "рафинирования" результатов поиска, выдаваемых другими поисковыми системами. Она контролирует, какими результатами поисков клиенты пользуются наиболее часто и, тем самым, создает некий рейтинг популярности Web-страниц. Этот рейтинг она предоставляет другим поисковым системам, и они учитывают его при выдаче результатов. Технология Direct Hit напрямую используется поисковой системой HotBot. Она также учитывается системами Lycos, LookSmart и MSN Search.

Excite http://www.excite.com/

Excite - одна из самых популярных поисковых систем World Wide Web. Она имеет указатель среднего размера и кроме поиска Web-страниц предоставляет услуги по поиску других материалов, например сведений о компаниях или результатов спортивных соревнований. Система была создана в конце 1995 г., прошла этап бурного развития и в 1996 г, поглотила двух ближайших конкурентов: систему Magellan и WebCrawler, хотя те по-прежнему сохраняют свои торговые марки и предоставляют поисковые услуги как самостоятельные службы.

FAST Search http://www.alltheweb.com/

Эта система,принадлежащаянорвежской компании, ранее называлась All The Web. Несмотря на то, что она была запущена совсем недавно (в мае 1999 г.), перед ней ставится задача обогнать конкурентов в полноте коллекций ссылок на Web-страницы. Кажется, ей это удается. Летом 1999 г. FAST Search первой перешагнула 200-миллионный рубеж проиндексированных Web-документов. Кроме системы FAST Search та же компания контролирует подразделение системы Lycos, занимающееся поиском музыкальных файлов в формате -МРЗ.

Go/Infoseek http://www.go.com/

Go/lnfoseek - это сочетание известной в прошлом поисковой системы Infoseek (была основана в 1995 г.) и современного портала Go (создан в 1999 г. и принадлежит небезызвестной Walt Disney Co). Кроме поисковых возможностей Infoseek портал предоставляет зарегистрированным пользователям возможность персональной настройки среды, бесплатную электронную почту и другие полезные сервисы. Пользователи этой системы отмечают высокое качество ссылок, возвращаемых системой, что объясняется специальным "фирменным" алгоритмом поиска. Кроме автоматизированного указателя система имеет также обширный каталог Web-узлов, составляемый вручную.

GoTo http://www.goto.com/

Поисковая служба Go To не имеет отношения к порталу Go и известна тем, что формирует результаты поиска на коммерческой основе. Компании, владеющие Web-узлами, за определенную плату могут договориться, чтобы ссылки на них появлялись на более высоких местах в списках итоговых результатов. Насколько известно, более никто, кроме Alta Vista, не занимается такими махинациями. Впрочем, служба GoTo не считает это махинацией, а полагает, что платежеспособность Web-издателя напрямую связана с качеством поставляемой им информации, и потому для пользователя такой подход полезен. При формировании списка служба берет оплаченные ссылки из собственной базы данных, а неоплаченные черпает от поисковой системы Inktomi (см. ниже).

Служба была запущена в 1997 г. В ее основу был положен Web-краулер World Wide Web Worm, приобретенный у разработчика - университета штата Колорадо. С его помощью собиралась первичная база указателя, В 1998 г. служба перешла на нынешнюю "коммерческую" модель обслуживания и начала использовать систему Inktomi в качестве генератора "некоммерческих" ссылок.

Google http://www.google.com/

Служба Google известна тем, что при генерации списка ссылок в первую очередь выдает ссылки на те Web-страницы, к которым из других документов ведет наибольшее количество ссылок. Это дает очень интересный эффект. На большинстве поисковых систем совершенно бесполезно искать информацию по таким тривиальным словам как Cars (Автомобили), internet, WWW, Games (Игры). Поиск по этим словам вернет столько ссылок, что среди них невозможно найти самые полезные. Служба Google при про ведении поиска по тривиальным словам дает отличные результаты, поскольку руководствуется мнением других пользователей, ранее осуществлявших подобный поиск.

HotBot http://hotbot.lycos.com/

По популярности среди сетевой общественности HotBot приближается к Alta Vista. Как и Alta Vista, эта служба имеет огромный поисковый указатель и много полезных функций. При генерации первой страницы ссылок HotBot использует результаты, поступающие от системы Direct Hit (см. выше). При генерации последующих страниц используется система Inktomi (см. ниже), услугами которой пользуются и другие поисковые службы. Кроме поиска по ключевым словам служба предоставляет также возможность поиска по тематическому каталогу. Данные для каталога черпаются из проекта Open Directory (см. ниже).

Служба HotBot была создана в мае 1996 г. компанией Wired Digitals, которую в 1998 г. перекупила поисковая служба Lycos. Несмотря на это, HotBot продолжает функционировать как самостоятельная поисковая служба, параллельно с Lycos.

Inktomi http://www.inktomi.com/

Ядро поисковой системы Inktomi было разработано в университете Калифорнии в Беркли, Несколько позже создатели системы учредили одноименную компанию и сформировали указатель ссылок Inktomi, который был использован в качестве основы службой HotBot. Сегодня этот указатель используют и некоторые другие поисковые службы. Несмотря на то, что при ответе на запрос пользователя все подключенные службы обращаются к одной и той же базе данных, результаты выдаются разные. Это связано с тем, что хотя Inktomi и обеспечивает партнерам доступ к общей базе указателей, система все-таки различает партнеров и применяет системы рейтингования и фильтрации результатов в соответствии с их идеологией.

LookSmart http://www.looksmart.com/

Служба LookSmart - ближайший последователь концепции Yahoo! в том, что касается "человеческого фактора" при составлении каталогов Web-ресурсов. Она предоставляет доступ к своему каталогу службе Alta Vista и другим партнерам. В тех случаях, когда поиск по архивам LookSmart не дает результата, ей помогает своими указателями Alta Vista.

Как работает Inktomi
Массовое производство всегда требует разделения труда. Массовое производство информации - не исключение. Имея огромную базу данных, система Inktomi в течение долей секунды поставляет другим поисковым службам запрошенную информацию. Такой подход позволяет сетевым поисковым службам сосредоточиться на маркетинге, на создании новых удобных служб для клиентов и на взаимодействии с рекламодателями, а технические и программные вопросы решаются в недрах Inktomi, обладающей огромным научным потенциалом.

Название Inktomi происходит от имени паука из индейских легенд, обладавшего способностью побеждать своих врагов силой ума. С мозгами в этой компании все в порядке. Из 200 ее сотрудников более 20 докторов наук.

На компанию Inktomi работают четыре центра по обработке данных, расположенные в США. Функционально они параллельны: запрос партнера обрабатывается в том центре, который может это сделать быстрее.

Каждый центр имеет от 100 до 166 мощных рабочих станций Sun Ultra, как правило, в двухпроцессорной конфигурации. На их жестких дисках хранится распре деленная база данных, содержащая проиндексированные образы более 200 млн Web-страниц, то есть на каждой станции хранится до 2 млн записей.

Запрос, поступивший в центр, передается той рабочей станции, которая в данный момент наиболее свободна. Она, в свою очередь, оповещает о запросе остальные станции, и они начинают параллельный поиск. В течение четверти секунды каждая из станций отбирает до 100 ссылок, соответствующих запросу. Все 10 000 ссылок передаются одной центральной рабочей станции. Центральная станция выполняет рейтингование страниц с учетом политики того партнера, который направил запрос, и создает из них упорядоченный список. Из этого списка выбираются и передаются первые двадцать указателей. Если пользователю этого недостаточно и он просит отобразить следующую "двадцатку", поиск уже не производится, и центральный компьютер сам выдает следующую порцию данных.

Служба LookSmart была создана в 1996 г. при финансовой поддержке концерна Reader's Digest, но примерно через год ее учредители откупили службу, и сегодня она независима.

Lycos http://www.lycos.com/

Первоначально служба Lycos была запущена как поисковая система, основанная на программе-роботе, собирающей информацию из WWW. Запущенная в эксплуатацию еще в мае 1994 г., сегодня она считается одной из старейших поисковых служб. Однако совсем недавно, в 1999 г. служба перешла на другую модель, похожую на Yahoo! и основанную на каталогизации Web-узлов. Свои основные каталоги служба получает от проекта Open Directory, а дополнительные возможности поиска опираются на мониторинг WWW с помощью программ-роботов. В качестве альтернативной услуги Lycos ведет еще один каталог - каталог Web-узлов Lycos Community Guides.

Название компании образовано из латинского словосочетания, которое можно перевести примерно как волкопаук. В 1998 г. служба Lycos выкупила акции своего ближайшего конкурента HotBot, который продолжает автономную работу под общим управлением Lycos.

MSN Search http://search.msn.com/

Служба MSN Search, принадлежащая компании Microsoft, была создана в 1998 г. и является порталом, на котором представлены и другие поисковые службы. В основу резуль атов поиска, выдаваемых службой, положен указатель, поставляемый системой Inktomi.

Netscape Search http://search.netscape.com/

Поисковая служба Netscape Search получает первичные результаты поиска от проекта Open Directory и собственной базы Smart Browsing. Вторичные результаты поставляются службой Google. На портале Netscape NetCenter кроме этой собственной службы присутствуют ссылки и на другие поисковые службы.

Northern Light http://www.northernlight.com/

Поисковый сервер Northern Light - один из излюбленных серверов для исследователей. Он был открыт в 1997 г. Сегодня сервер владеет одним из самых крупных поисковых указателей и имеет средство для пакетирования документов по заданной теме. Кроме того, сервер содержит "специальную коллекцию" документов, происходящих из тысяч различных источников, недоступных для автоматических роботов поисковых систем. Поиск информации по этим документам бесплатен, но их просмотр оплачивается. При этом стоимость просмотра может достигать 4$ за документ. Просмотр документов, не входящих в "специальную кол лекцию", бесплатен.

Open Directory http://dmoz.org/

Это не совсем поисковая служба. Это общественный проект по каталогизации Web ресурсов. На добровольной основе он объединяет редакторов многих стран мира. Первоначально проект был открыт в 1998 г. под названием NewHoo и вскоре был подхвачен компанией Netscape. Netscape предоставляет право свободного использования информации, содержащейся в проекте, каждому, кто готов принять условия открытой лицензии. Соответственно, сама компания Netscape является как бы и лицензиатом и лицензиаром одновременно. Данными, поставляемыми Open Directory, пользуется поисковая служба Lycos и связанная с ней служба HotBot.

RealNames http://www.realnames.com/

Система, которую вводит служба RealNames, по замыслу своих создателей, должна прийти на смену ныне действующей системы адресации, основанной на доменных именах. Предполагается, что поиск организаций и людей должен выполняться по "реальному имени". Например, для поиска сервера господина Сидорова, надо ввести просто имя: Сидоров, а не www.sidorov.ru. Однако, пока до создания такой системы еще далеко, служба занимается тем, что на партнерских основах поставляет свои данные другим поисковым системам. В частности, она представлена на основных страницах поисковых систем Alta Vista и Go/lnfoseek.

Snap http://www.snap.com/

Snap - это поисковая служба, основанная на тематическом каталоге, однако данные для этого каталога собираются с помощью поискового указателя Inktomi. Как и поисковая служба LookSmart, служба Snap видит в качестве главной задачи добиться превосходства в объеме и структуре своего каталога над службой Yahoo!.

WebCrawler http://www.webcrawler.com/

WebCrawler имеет самый малый поисковый указатель из всех поисковых систем верхнего эшелона, то есть это не самое мощное средство поиска. Однако некоторые пользователи считают WebCraweler удобной системой именно потому, что количество выдаваемых ссылок не столь велико, как у других поисковых систем.

WebCrawler - одна из первых поисковых систем World Wide Web. Она начиналась как научно-исследовательская работа в Вашингтонском университете. В мае 1995 г. систему приобрела служба America Online, и до 1996 г. система WebCrawler выполняла поисковые функции в структуре этого крупнейшего поставщика Web-услуг. В 1996 г. систему WebCrawler приобрела поисковая служба Excite, под крылом которой она живет и сегодня.

Yahoo! http://www.yahoo.com/

Yahoo! - одна из старейших и наиболее популярных поисковых служб. Ее каталог был запущен в эксплуатацию еще в 1994 г. Секрет успеха Yahoo! в "человеческом факторе". На службу работают около 150 редакторов, неустанно улучшающих и пополняющих множество тематических разделов огромного каталога. В каталоге содержатся данные по одному миллиону Web-узлов. Если поиск по собственному каталогу не дает результата, привлекаются ресурсы поискового указателя Inktomi.

В отечественной литературе нам встречались весьма нелепые толкования слова Yahoo!, хотя на самом деле все очень просто. "Yahoo!" - это по-русски "Ау!", то есть то самый звук, который издают потерявшиеся люди.

Вверх

 

Отечественные поисковые службы

С большим удовлетворением мы должны отметить, что российский сектор Интернета развивается очень бурно. Сегодня ситуация такова, что даже если западный сектор по каким-либо причинам "прикажет долго жить", российский сектор достаточно автономен, чтобы развиваться самостоятельно и достойно обслуживать отечественных клиентов.

Важную роль в становлении и развитии отечественного сектора Интернета сыграли отечественные поисковые службы (за что им огромное спасибо). Не знаем, смогли ли они к сегодняшнему дню подойти к самоокупаемости, но в первые годы без сомнения работали на энтузиазме, доброй воле своих сотрудников и вере в будущее. В России есть как универсальные, так и специализированные поисковые службы. Как и везде в мире, в первую очередь развиваются поисковые указатели и рейтинговые системы, но имеется и полноценный каталог - @Rus, в прошлом "Ау!".

Всего поисковые ресурсы WWW представляют порядка 8000-9000 служб. Из них верхний эшелон занимают всемирно известные службы общим количеством порядка двух десятков, обеспечивающие доступ к сотням миллионов Web-страниц.

Второй эшелон составляют тематические международные поисковые службы, ориентированные на отдельные направления: спорт, туризм, автомобили, книги, потребительские товары и т. п. Количество крупнейших служб этого эшелона составляет несколько десятков. Обычный размер их указателей от сотен тысяч до нескольких миллионов страниц.

Третий эшелон представляют национальные поисковые службы, выполняющие каталогизацию и индексацию ресурсов в своих странах/регионах. Количество таких служб - несколько сот. Ресурсы их указателей также составляют несколько миллионов страниц.

Четвертый и пятый эшелоны представляют небольшие поисковые системы организаций и объединений (отраслей), в том числе и сетевых, а также тематические списки ссылок частных лиц. Они могут содержать от нескольких сот до нескольких десятков тысяч ссылок. Количество таких микрослужб порядка 8000.

Вверх

 

Aport http://www.aport.ru/

"Апорт" - один из первых поисковых указателей российского Интернета -детище компании "Агама" (http://www.agama.ru/). В прошлом служба предоставляла традиционные общепринятые средства поиска, но в конце 1999 года внедрила новую систему ("Апорт 2000") и сделала большой шаг вперед, особенно в том, что касается представления результатов поиска. Выше мы уже отмечали, что сегодня владение самым большим проиндексированным пространством Web уже не является самоцелью. Главное - наилучшим образом обеспечить потребности пользователя, а простейший путь к этому лежит не в безмерном увеличении индекса, а в применении новых технологий при обработке результатов.

Прежде всего следует отметить, что системе "Апорт 2000" удается мастерски сочетать "машинный" и "человеческий" факторы. Это достигнуто за счет тесной интеграции с партнерским каталогом @Rus. Так, например, когда по результатам поиска выводится адрес Web-страницы, он может сопровождаться кратким описанием Web-узла, взятым из каталога @Rus. Хотя пользователь и не видит глубинных процессов, но система "Апорт 2000" уделяет особое внимание рейтингованию результатов поиска. В частности, она использует наиболее эффективную сегодня систему рейтингования по количеству ссылок, ведущих к данному ресурсу (по индексу цитирования).

По способу представления результатов поиска служба "Апорт 2000" в настоящее время является одной из самых передовых не только в России, но и в мире. Страница результатов поиска доставляет настоящее эстетическое удовольствие, хотя и требует разрешения экрана не менее, чем 600x800 точек.

Атрус (@Rus) http://www.atrus.ru/

@Rus -популярнейший отечественный поисковый каталог, известный в прошлом под именем "Ау!" (http://www.au.ru/). Каталог разработан компанией "Web Tech" в сотрудничестве с компанией "Агама". При его наполнении активно используются средства поисковой системы "Апорт 2000", а результаты поиска могут предоставляться как самостоятельно через службу @Rus, так и в составе результатов поиска, проведенного службой "Апорт 2000".

Кроме средств поиска служба @Rus предоставляет удобный каталог пор тал Мой @Rus. Пользователь может настроить его на быстрое получение наиболее нужной ему информации. Средства настройки каталога позволяют также отключить все лишнее на основной странице поисковой системы, что делает работу с ней особенно быстрой и удобной.

Rambler http://www.rambler.ru/

Rambler - это рейтинговая система, обладающая всеми основными функциями поисковых указателей. Как поисковый указатель, служба обладает одним из крупнейших индексов в России, но ей явно недостает быстро действия и современных алгоритмов рейтингования результатов поиска. Впрочем, это не очень существенно, ведь основную популярность служба приобрела в первую очередь как рейтинговая система. Она позволяет быстро выявить круг Web-узлов, поставляющих информацию на заданную тему и оценить их популярность по количеству посещений за последние сутки. Мы уже говорили о том, что эта характеристика качественности Web-ресурса является относительной, но в тех случаях, когда речь идет о теме, имеющей общественный интерес, ей можно доверять.

Яndex http://www.yandex.ru/

Яndex - мощная поисковая служба, основанная на указа теле, обладающая как большой и представительной базой данных по отечественным Web-ресурсам, так и изощрен ной системой индексации. Функционирование службы обеспечивает компания CompTek (http://www.comptek.ru/).

На основной странице службы сказано, что "поиск - это искусство". Одна ко это не означает, что для работы с ней надо быть особо искусным. Про сто для тех, кто предпочитает подходить к поиску творчески и стремится развивать свое мастерство, Яndex предоставляет уникальные в своем роде инструменты, сосредоточенные в разделе расширенного поиска. Возможно, они даже несколько опережают свое время и украсили бы западную поисковую службу, имеющую дело с сотнями миллионов проиндексированных документов. А в российском секторе, где пока проиндексировано лишь 10-20 млн документов, мы нередко обходимся средствами простого поиска.

Но и в области простого поиска служба Яndех имеет ряд технологических достижений, прежде всего интеллектуальный механизм морфологического разбора слов, что особенно важно для русского языка.

Интересна новая услуга, предоставляемая службой. Для корпоративных клиентов она бесплатно предоставляет "облегченную" версию программы Яndех.Sitе, выполняющей индексацию содержимого Web-узла. Это удобно тем владельцам Web-узлов, которые хотели бы организовать локальную систему для поиска информации в пределах собственного узла. В то время как большинство поисковых служб хранят свои средства индексации как "зеницу ока", этот шаг компании CompTek выглядит удачным маркетинговым ходом, способствующим росту популярности службы.

Вверх

 

Приемы простого поиска информации в WWW

Каждая поисковая система предоставляет свои методы поиска и имеет свои особенности в правилах записи комбинации ключевых слов. Однако есть общие элементы, одинаково справедливые для большинства поисковых систем.

Прежде всего, надо заметить, что чем точнее сформулировано задание на поиск, тем точнее будут и результаты. Например, если вы хотите найти документы с описанием замеченных ошибок Windows 98, то так и надо формулировать запрос: ошибки Windows 98, а не просто Windows. На англоязычных серверах очень часто срабатывает простое человеческое описание проблемы: printer works incorrectly (принтер работает неправильно).

Вверх

 

Ловушка для начинающих

Обычно наша задача состоит в том, чтобы выделить в пространстве Web самые нужные документы, однако многие начинающие ловятся на один и тот же крючок. Например, если вы хотите найти информацию о компьютерных играх (computer games), то кажется, что так и надо оформить запрос:

computer games

Увы, для большинства поисковых систем этот запрос будет ошибочным. При таком запросе система будет искать все Web-страницы, в которых встречается либо слово computer, либо слово games, либо оба вместе. В WWW полно страниц, на которых упоминаются компьютеры и нет ни слова про игры. Точно так же там полно страниц со спортивными, настольными и другими играми, которые нам не интересны. Вот всю эту массу и надо как-то отсеять, а мы наоборот ее запрашиваем.

Впервые приступая к использованию той или иной поисковой службы, начните с выяснения роли пробела между словами. Для этого либо почитайте инструкцию по пользованию системой, либо поставьте собственные эксперименты.

Вот список поисковых систем, которые рассматривают группу слов, введенных через пробел, как задание на поиск любого из этих слов:

AltaVista
Excite
GoTo
Infoseek
LookSmart
Netscape Search
Snap
WebCrawler
Yahoo!

Следующие системы тоже способны выполнять поиск по любому из слов группы, но для этого надо либо установить соответствующий флажок, либо выбрать соответствующий пункт в меню:

HotBot (через меню);
Lycos (в режиме расширенного поиска);
MSN Search (через меню);
Rambler (после установки флажка Все словоформы).

Система Northern Light позволяет производить поиск по любому из ключевых слов только путем использования логической команды OR . Система Google вообще не имеет средств для такого поиска ("ловушка для начинающих" в ней принудительно закрыта).

При использовании данного метода поиска хотелось бы иметь на первых местах ссылки на страницы, содержащие как можно больше слов из числа перечисленных в запросе, но такую сортировку большинство поисковых систем не делают. Обратите на это особое внимание!

Вверх

 

Сложение наоборот

Если нам надо, чтобы поисковая система нашла страницы, на которых одновременно присутствуют все использованные ключевые слова, то перед каждым из них надо поставить знак "+". Предположим, вы хотите узнать, не было ли в жизни известного лица каких-нибудь щекотливых ситуаций. В этом случае в условии поиска надо указать:

+Клинтон +скандал

Поисковая система выдаст список страниц, на которых встречаются оба слова, хотя, конечно, не исключено, что между ними нет прямой связи. Список слов может быть больше - тогда результаты поиска будут точнее, например:

+свет +оптика +линза

Использование знака " + " особенно полезно, если вы провели поиск по распространенному слову, но в ответ получили так много ссылок, что не знаете, как с ними поступить. Используя знак " + ", мы сужаем круг поиска и уменьшаем количество возможных ссылок.

Знак " + " понимают все основные поисковые системы, за исключением LookSmart. А следующие системы выполняют такой поиск по умолчанию, даже если знак "+" не указан:

Google
HotBot
Lycos
MSN Search
Northern Light
Aport 2000
Rambler (в режиме простого поиска при сброшенном флажке Все слово формы).
 

Имеет отличия и российская система Яndех. Если слова разделены пробелами, то система ищет одновременное появление этих слов, но только в пределах одного предложения. Если же требуется одновременность в пре делах всего документа, надо использовать знак "+".

Интересную особенность имеет и российская система Rambler. В ней знак " + " можно использовать для управления весовым коэффициентом при рейтинговании результатов. Так, например, поставив несколько знаков "+" перед каким-либо словом, можно форсировать отображение страниц, содержащих его, в вершине результирующего списка.

Вверх

 

Арифметика вычитания

Интересно, что сужать круг поиска можно не только знаком "+", но и знаком "-". Допустим, вам надо написать для детского сада реферат о деятельности президента Клинтона, но при этом не хочется вникать в его историю с Моникой Левински. Исключить Левински из рассмотрения можно знаком "минус", например так.

Клинтон -Левински

Если, к примеру, нам надо написать реферат по оптике, но только по геометрической, а не по волновой, то поиск может быть таким:

+свет +оптика -волна

Последняя команда разыщет все страницы, где присутствуют слова свет и оптика, но покажет только ссылки на страницы, не содержащие слова волна.

Знак "-" понимают практически все основные поисковые системы.

Вверх

 

Применим джокера

Возьмем следующее предложение:

В геометрической оптике световой луч рассматривается как прямая линия.

Интересно отметить, что поиск по команде +свет +оптика может его и не найти, хотя это самая настоящая геометрическая оптика. Мы дали команду искать слово свет, а в документе написано: световой. Мы дали команду искать слово оптика, а в документе написано: оптике. Разумеется, многие поисковые системы производят нормализацию слов, но не все и не всегда, так что не стоит на это полагаться, а следует использовать подстановочный символ "*". Как джокер в карточной колоде может заменить любую карту, так этот символ может заменить любой другой символ или набор любых символов до конца слова. Если бы мы сформировали свой запрос так:

+свет* +оптик* -волн*

то наверное его результаты были бы шире без особой потери точности.

Подстановочный символ "*" можно использовать в следующих поисковых системах:

AltaVista
HotBot
Northern Light
MSN Search
Snap
Yahoo!
 

Некоторые из крупнейших поисковых служб поддерживают нормализацию слов по умолчанию, то есть, они уже учитывают сокращение слов до основы, и потому в них не надо использовать подстановочный символ "*". В частности, к таким службам относится Infoseek.

Вверх

 

Контекстный поиск

А почему бы нам сразу не искать то, что надо?

+геометрическая +оптика

Может быть, это и было бы хорошим решением, но такой поиск выдаст ссылки на страницы, где упоминаются оба эти слова, причем совсем не обязательно, что вместе. То есть, слово геометрическая может быть в одном конце текста, а слово оптика - совсем в другом. Если же мы хотим объединить оба эти слова в одно сочетание, то надо применить кавычки:

"Геометрическая оптика"

или:

"геометрическая оптика"

В случае использования кавычек поисковая система разыскивает документы, в которых абсолютно точно есть тот текст, который в них заключен. Поиск с помощью кавычек называется контекстным поиском.

Контекстный поиск - "ахиллесова пята" многих поисковых систем. Такой поиск должен выполняться не в индексном файле, а копиях Web-страниц. Здесь и начинаются проблемы. Во-первых, не всякая система про изводит розыск в копиях страниц, а во-вторых, это не самый быстрый вид поиска. Самым мощным "контекстным поисковиком" по праву считается Alta Vista, и в этом важная причина особой популярности этой системы.

Вверх

 

Роль прописных букв

Прописные буквы при проведении поиска имеют особый статус. Вам ведь понятна разница между сочетаниями красная шапочка и Красная Шапочка? С прописными буквами поисковые системы обращаются буквально, то есть разыскивают тексты, в которых слова записаны точно такими же буквами. Со строчными буквами все происходит демократичнее. Совладения засчитываются и в том случае, когда в тексте стоит прописная буква, и в том случае, когда буква строчная.

Поиск по словам:

+ красная +шапочка

вернет результаты, в которых будут и красная шапочка, и Красная шапочка, и красная Шапочка, и Красная Шапочка.

С другой стороны, поиск по словам:

+Красная +Шапочка

даст гораздо более узкий результат: Красная Шапочка, - и все.

Вверх

 

Поиск по заголовкам

Каждая Web-страница может иметь заголовок, если Web-мастер не поленился его создать. Когда мы разыскиваем Web-страницы с помощью поисковых систем, то по результатам поиска нам обычно выдается ссылка, в которой присутствует заголовок Web-страницы, если он есть. Если его нет, то обычно выдается одно-два предложения первого абзаца.

Многие поисковые системы позволяют разыскивать Web-документы по тексту, содержащемуся в заголовках. Такой поиск существенно уменьшает количество возвращаемых ссылок, но очень точно выводит на нужные материалы. Например, если вам нужны данные для доклада о Солнечной системе, имеет смысл искать не просто словосочетание Solar System (Солнечная система), а страницы, в которых это сочетание присутствует в заголовке. Командой такого поиска является title:, например:

title: Solar System

или (лучше)

title: solar system

Поиск заголовков Web-страниц по команде title: поддерживают следующие поисковые системы:

AltaVista
HotBot
Northern Light
MSN Search
Snap
GoTo
 

Поисковый каталог Yahoo! тоже имеет команду для поиска заголовков. Она записывается так:

t:: solar system

Система Lycos разыскивает заголовки только в режиме расширенного поиска.

Поисковая система Aport имеет несколько альтернативных команд для поиска заголовков. Основная команда - title = . Примеры:

title = Солнечная система
t = Солнечная система
заг = Солнечная система
з = Солнечная система

В поисковой системе Яndех команда поиска в заголовке записывается так:

$ title (Солнечная система)

а в поисковой системе Rambler - похоже, но без скобок, через двоеточие:

$ title :Солнечная система

Вверх

 

Поиск Web-узлов

Сам по себе поиск Web-узлов используется достаточно редко, но команды этого поиска часто применяют для сокращения числа ссылок, возвращенных другими методами и ограничения их одним Web-узлом или, наоборот, исключения некоего Web-узла из результатов поиска.

Одной из команд такого поиска является команда host:.

Например, на поисковой системе Alta Vista команда host:microsoft.ru разыщет все Web-страницы, принадлежащие доменному имени mycrosoft.ru.

Эту команду обычно комбинируют с другими. Если, например, нас интересуют планеты солнечной системы, но мы уже сыты по горло трудами Национального управления по исследованию космического пространства США (NASA), то сервер NASA можно исключить из поиска командой:

+solar + system -host: nasa

В команду можно включать не полное доменное имя сервера, а только его часть, например только имя домена. Так, если мы хотим обыскать только российские серверы, то можно использовать имя домена ru, например:

+cookies +host: ru

По этой команде мы узнаем, что пишут о маркерах cookies на российских Web-узлах.

Не все поисковые системы позволяют проводить поиск по Web-узлам, да и команда поиска у них может быть различной. Вот список систем, которые такой поиск выполняют:

AltaVista
host:
Hot Bot
domain:
InfoSeek
 site:
MSN Search domain:
GoTo domain:
Snap domain:

Поисковая система Lycos выполняет поиск Web-узлов только в режиме расширенного поиска.

Вверх

 

Поиск URL-адресов

Этот поиск очень похож на поиск Web-узлов. Суть и смысл его те же, только команда другая - url:. Эту команду поддерживают следующие поисковые службы:

Alta Vista
infoseek
Northern Light

Поисковый каталог Yahoo! использует команду u:, а система Lycos реализует поиск URL-адресов с помощью команд расширенного режима.

В России поисковая система Яndex использует команду #url=, после которой следует записать URL-адрес в кавычках. Поисковая система Апорт обходится более простым синтаксисом, например url= www.intel.ru, а в поисковой системе Rambler команда должна начинаться с символа " $ ", например так:

$url: www.intel.ru

Вверх

 

Поиск ссылок

Поиск ссылок бывает полезен владельцам Web-страниц и Web-мастерам. Он позволяет, к примеру, количественно оценить динамику популярности своей страницы регулярным контролем числа ссылок, которые к ней ведут. Типовая команда для такого поиска -link:.

Например, команда link:http://www.mywebsite.com/mypage/index.htm позволит выявить ссылки, которые ведут к титульной странице index.htm на Web-узле mypage, размещенном на Web-сервере www.mywebsite.com.

Команду link: поддерживают следующие поисковые службы:

AltaVista      Infoseek      Google

Некоторые поисковые службы поддерживают команду linkpage:

GoTo
HotBot
Snap
MSN Search

Как обычно, российские поисковые системы имеют свои особенности. Например, Апорт поддерживает четыре разных представления команды:

link=
l=
ссылка=
сс=

Система Яndex поддерживает команду #link:, после которой адрес ссылки должен записываться в кавычках.

Вверх

 

Средства расширенного поиска

Выше мы рассмотрели лишь десять методов формулирования задания на поиск, однако их достаточно для проведения 90% поисковых работ в 90% поисковых служб. Все рассмотренные выше методы являются методами простого поиска. Кроме средств простого поиска обычно поисковые службы предоставляют средства расширенного поиска. Эти средства позволяют более точно формулировать поисковое задание, но требуют определенного опыта и работают заметно медленнее.

В большинстве поисковых систем команды расширенного поиска формируются с помощью логических команд и рассчитаны на профессионалов. Удобство использования логических команд в частности связано с тем, что команды простого поиска у многих поисковых систем реализованы по-разному. Каждая система стремится сделать средства простого поиска наиболее удобными, а средства расширенного поиска - наиболее стандартными.

Освойте команды расширенного поиска, и в большинстве поисковых систем вы будете чувствовать себя, как "рыба в воде".

Вверх

 

Команда OR

Логическая команда OR (ИЛИ) служит для формирования поискового задания, состоящего из нескольких ключевых слов, если надо, чтобы разыскиваемый документ содержал любые из этих слов в любой комбинации. Например, по команде solutions OR hints будут разысканы Web-страницы, содержащие решения к компьютерным играм (solutions) или подсказки к ним (hints).

Команду OR поддерживают абсолютное большинство основных поисковых служб, за исключением следующих:

Google
Infoseek
LookSmart
Yahoo!
 

Службы Infoseek, LookSmart и Yahoo! по умолчанию выполняют поиск по принципу ИЛИ, если через пробел задано несколько ключевых слов, и поэтому не нуждаются в этой команде. Лишь поисковая система Google вообще не имеет таких средств.

"Апорт" позволяет использовать как английское ключевое слово OR, так и русское ИЛИ. Можно также использовать знак " ". Система Rambler использует или слово OR, или знак " | ", а система Япс1ех - только знак " | ".

Вверх

 

Команда AND

Логическая команда AND (И) служит для формирования поискового задания, когда надо, чтобы разыскиваемый документ содержал одновременно все слова, введенные пользователем. Это аналог команды "+" простого поиска. Например, по команде свет AND луч будут разысканы все Web-страницы, содержащие оба эти слова.

Команду AND поддерживают абсолютное большинство основных поисковых служб, за исключением следующих, которые используют знак "+":

Google
Infoseek
LookSmart
Yahoo!

Апорт позволяет использовать как английское ключевое слово AND, так и русское И, а также знаки " &" и "+". Система Rambler использует ключевое слово AND или знак "&", а система Яndех - знак "&" или пробел, если требуется одновременное присутствие слов в одном предложении, или пару знаков "&&", если требуется одновременное присутствие слов во всем документе.

Вверх

 

Команда NOT

Логической командой NOT (HE) устанавливают исключения из результатов поиска, то есть это аналог рассмотренной выше команды простого поиска " -". Эту команду поддерживает большинство служб, за исключением:

Google
Infoseek
LookSmart
Yahoo!

Системы AltaVista, Excite, Snap требуют специальной формы записи этой команды: вместо NOT в них следует давать команду AND NOT.

Наряду с командой NOT в системе Апорт 2000 разрешается использовать команду " НЕ", а в системе Rambler - команду "!". Интересна особенность системы Яndех. Она реализует логическую команду И НЕ, которая записывается значком "-", если относится к одному предложению и парой значков "-", если относится ко всему документу.

Вверх

 

Команда NEAR

Это одна из самых удобных команд расширенного поиска. Она позволяет совместить достоинства поиска по ключевым словам и контекстного поиска. При глубоком поиске самые лучшие результаты возвращаются с помощью этой команды. Пример: поисковая команда Quake NEAR hints позволит разыскать документы, в которых присутствуют слова Quake и hints одновременно, причем находятся поблизости друг от друга.

К сожалению, редкие поисковые службы поддерживают поиск с помощью команды NEAR. При этом у разных служб разное представление о том, что значит "близкое" размещение слов друг к другу:

AltaVista (в пределах 10 слов, жестко);

Lycos (в пределах 25 слов, гибко);

WebCrawler (в пределах 2 слов, гибко);

И Lycos, и WebCrawler позволяют управлять размером интервала, в котором разыскиваются ключевые слова. Для этого команду NEAR задают с параметром /#. Например, команда ночь NEAR/10 река позволит разыскать произведения, в которых есть описание реки ночью, если слова ночь и река отстоят друг от друга не более, чем на десять слов.

В российской поисковой системе Rambler аналогичная команда начинается со знака "$" и заканчивается двоеточием ($NEAR:). В поисковой системе Апорт расстояние между словами задается командой СЛ#(...,...,...), где вместо знака " # " следует подставить цифру или число, обозначающее пре дельное расстояние, а вместо многоточий - список ключевых слов. В поисковой системе Яndех расстояние задается в круглых скобках после дробной черты. При этом указать расстояния можно как "вперед", так и "назад":

средство поиск/ (-2 4)

Такая команда позволит разыскать на только средства расширенного поиска, но и поисковые средства.

Вверх

 

Вложение команд

Вложение команд позволяет создавать весьма сложные запросы. Оно выполняется с помощью круглых скобок (). Команда, стоящая в скобках, выполняется в первую очередь. Рассмотрим пример поиска решений или подсказок к компьютерной игре Diablo:

diablo AND (solution OR hint)

В этом случае сначала будут отобраны документы, в которых приводятся подсказки или решения для компьютерных игр, а потом из них будут выбраны те, в которых упоминается игра Diablo.

Использование круглых скобок для управления порядком исполнения задания на поиск разрешается большинством крупнейших поисковых систем, за редким исключением:

Google
Infoseek
LookSmart
Yahoo!

Вверх

 

Выбор поисковой службы

Как проверить незнакомую поисковую службу

Лет пять назад лучшей считалась та служба, которая владела наибольшим индексом. Пока Web-страниц было немного, в результатах поиска можно было ориентироваться относительно легко. Тогда проверить незнакомую службу было очень просто - надо было набрать достаточно распространенное слово, например Pentium, и сравнить, сколько ссылок на него дают разные поисковые системы.

Сегодня величина индекса уже не имеет того значения, как его качество, хотя принцип проверки остается тем же самым. Введите простое и понятное слово и посмотрите, насколько найденные Web-страницы соответствуют вашим ожиданиям. Если, например, при поиске по слову Шахматы поисковая система в качестве первой (самой важной!) ссылки выдает Web-страницу, посвященную скульптуре, то этой системе нужно еще какое-то время на адаптацию, прежде чем ею можно будет пользоваться.

Вверх

 

Реферативный поиск

Предполагается, что вам задана тема, которую надо осветить, но по ней нет никакой информации. Так обычно бывает, когда надо написать реферат, подготовить выступление, статью, отчет, справку и т. п. Часто реферат делают не по заданию, а "для себя", в порядке подготовки к другой, более крупной работе, например к написанию диссертации или книги.

В этом случае начинать исследование темы надо с поискового каталога. Это ничего, что в нем отражен только один миллион страниц - нам и этого много. Двух-трех страниц с содержательной информацией обычно бывает достаточно, чтобы сделать свое дело. К тому же эти страницы тоже имеют полезные ссылки. Вы можете быть уверены в том, что лучшая часть сетевой информации в таких каталогах, как Yahoo! обязательно присутствует.

Например, ваша собака заболела демодекозом. Вы слышали, что болезнь эта неизлечимая, но интересно проверить, что по этому поводу говорят мировые светила. Вы можете получить сотни ссылок с помощью поискового указателя типа Alta Vista. Среди них, конечно же, будут ссылки на самого лучшего специалиста в мире по данному вопросу, но как их угадать? С помощью Yahoo! вы гораздо быстрее найдете его Web-узел.

Вверх

 

Углубленный поиск

Углубленный поиск предполагает, что общее знакомство с вопросом уже есть, но нужны какие-то мелкие детали и тонкие нюансы. Поисковый каталог здесь может не помочь - слишком поверхностно его знание о ресурсах WWW. В этом случае надо использовать поисковый указатель, а лучше - не один. Однако для того чтобы отфильтровать информацию и сузить результаты поиска, надо применять специальные средства, в частности средства расширенного поиска. Методы простого поиска могут дать слишком много побочной информации.

Каждый, кто является специалистом в какой-то области, знает ключевые слова, характерные для нее, а умение грамотно сформулировать задание на поиск достигается методом проб и ошибок. Допустим, вы считаете себя специалистом в области стратегических игр реального времени и с основными достижениями в этой области уже знакомы. Допустим, вы хотите найти новую для себя информацию. Вряд ли Yahoo! даст то, чего вы не знаете - все это вы уже читали. Попробуйте с помощью системы Alta Vista сделать поиск по ключевым словам:

(realtime NEAR strategy) AND computer AND game

Это пример расширенного поиска. Он вернет ссылки на документы, в которых присутствуют все эти слова и, более того, слово realtime находится рядом (NEAR) со словом strategy. В ответ на такой запрос вы получите немало ссылок. Но вы же специалист! Вы уже знаете основные ресурсы и сумеете в этом длинном списке выделить те ссылки, которые ведут к ранее неизвестным ресурсам.

Вверх

 

Специальный поиск

Специальный поиск труден и в поисковых каталогах, и в поисковых указателях. Если, например, вы занимаетесь физикой лазеров, то утонете в ссылках, ведущих к научно-фантастическим романам, в которых упоминаются лазеры. Как специалисту, вам лучше всего пользоваться списками ссылок, составленными другими специалистами или небольшими поисковыми системами научных учреждений. А чтобы выйти на них, следует начинать с поискового каталога.

Поиск скомпрометированной информации

Специальный поиск труден и для "специалистов нетрадиционной ориентации", например для хакеров. Поиск по словам +hacker + information заранее обречен на провал - страниц, удовлетворяющих этому условию, немерено.

Можно попробовать подумать над применением углубленного поиска. Чем занимаются хакеры? Наверное, что-нибудь ломают (crack), охотятся за чем-нибудь бесплатным (free) и обмениваются паролями (passwords). Можно попробовать такой поиск:

crack AND free NEAR passwords

Он даст более осмысленные результаты, но не спешите их использовать. С ними вы потеряете не один час и все равно ничего полезного не найдете. Мы уже говорили о том, что Web-узлы с "горячей" информацией существуют вовсе не для того, чтобы удовлетворять запросы. Их цель как раз обратная - ни в коем случае не удовлетворить запрос клиента и держать его в подвешенном состоянии. Пусть думает, что до заветного первоисточника ему осталось сделать пару щелчков, и пусть он так думает вечно. За каждый щелчок владельцам "вертушек" поступают деньги. Как только клиент найдет, что искал, щелчки прекратятся, и деньги тоже.

О том как выходить из " вертушек ", мы говорили, когда изучали управление браузером, а здесь речь пойдет том, как в них не попадать. На выходе из основных поисковых систем западни уже расставлены, так что искать "скомпрометированную информацию" в поисковых системах занятие бессмысленное.

Самый надежный прием - воспользоваться рекомендациями других пользователей. Вот здесь нам и пригодятся рейтинговые службы. Любители музыки, собирающие коллекции записей в формате МРЗ, не станут ходить на серверы, устраивающие "вертушки". Вам надо только посмотреть с помощью рейтинговой службы, куда ходит большинство ваших партнеров по увлечению и, скорее всего, выбор будет неплохим. А далее можно путешествовать по ссылкам, представленным на разысканных Web-узлах, и создавать свою систему закладок на будущее.

Вверх

 

Контекстный поиск

Считается, что невозможно пойти туда, не знаю куда и найти то, не знаю что. Может быть, это и так, но если есть общая идея и фантазия, то все-таки кое-что сделать можно. Давайте предположим, что мы хотим почитать повесть или рассказ в жанре фэнтези, причем нам все равно, что читать. Автор и название книги роли не играют - мы для того и занимаемся поиском, чтобы узнавать о новых авторах и новых книгах.

Проще всего, конечно, воспользоваться поисковым каталогом и напрямую разыскать, что известно в WWW о литературе в жанре фэнтэзи. Однако этот поиск к книгам не приведет. Скорее всего он закончится в сетевом магазине, торгующем книгами, или на домашней странице автора одной из книг. Книги - это объект, защищаемый законами об авторском праве, и если кто-то и выставил их содержание в Интернете, то сделал это нелегально и не будет себя афишировать.

Однако если вы подозреваете, что где-то в недрах WWW нужное вам произведение все-таки есть, попробуйте применить контекстный поиск. Метод контекстного поиска опирается на ожидаемое содержание документа. Например, для книг в жанре фэнтэзи могут быть характерными такие фразы:

"he draw his sword" ("он вынул меч");
"mage raised up his hands" ("маг воздел руки к небу");
"he saw a dragon" ("он увидел дракона").

Нет никакой гарантии, что любая придуманная фраза даст какой-то результат, но фантазия нам для того и дана, чтобы экспериментировать. Зато когда окажется, что мы попали в точку и угадали ход мысли автора, это уже само по себе награда. Так поиск превращается в азартную охоту за документами.

Вы, конечно, понимаете, что искать этим приемом можно совсем не только литературу. Например, если надо найти неформальные данные по биографии Луиджи Гальвани, не спешите заказывать поиск по словам:

+galvani +biography

Он легко отправит вас к конференциям и семинарам, посвященным его светлой памяти, а это не то, что нужно, когда собираешь неформальные данные. Из чисто спортивного интереса поищите простую фразу:

"Galvani was born" (Гальвани родился ...).

Возможно, вы найдете такие ресурсы, до которых не докопались бы иным способом. Это может быть курсовая работа студента-медика, который учится там, где Гальвани преподавал двести лет назад. Это может быть сочинение школьника, который живет в том доме, где когда-то жил Гальвани. В общем, результат может быть неформальным и очень интересным.

Вверх

 

Поисковые средства браузера

Какой именно поисковой службой стоит пользоваться, мы сказать не можем, поскольку это зависит от того, какие задачи перед вами стоят, и каким иностранным языком вы владеете. Однако мы можем сказать, какой поисковой службой пользоваться не стоит - той самой, на которую браузер настроен "от рождения".

В Internet Explorer есть команда Вид > Панели обозревателя > Поиск, которая открывает дополнительную панель. Ее же можно открыть и щелчком на командной кнопке Поиск.

При открытии этой панели происходит подключение к поисковой службе MSN Search компании Microsoft. Ничем хорошим эта служба не выделяется, поскольку принимает наши запросы и размещает их на серверах других поисковых служб. В принципе, это ненужный посредник. Кроме того, операционная система, браузер и поисковая система, принадлежащие одной компании, образуют не самое лучшее сочетание в смысле безопасности. Наличие "дыр" в одном программном продукте может эксплуатироваться другими продуктами (а таких "дыр" более чем достаточно). В итоге мы только констатируем тот факт, что браузер имеет удобные встроенные средства для организации поиска в WWW, но оставляем их без рассмотрения.

Вверх

 

Выводы и рекомендации

Обобщая все сказанное выше, можно дать следующие рекомендации:

  • для реферативного поиска пользуйтесь поисковыми каталогами;
  • для углубленного поиска пользуйтесь поисковыми указателями;
  • для специального поиска предварительно разыщите персональные списки ссылок, составленные коллегами;
  • для поиска "скомпрометированной информации", например хакерской, пользуйтесь рейтинговыми системами;
  • при выборе службы для контекстного поиска в России лучше остановиться на "Апорт 200" или "Яndех", а за рубежом альтернатив мало - лучше всего использовать поисковую службу Alta Vista.

Вверх

 

Новые технологии поисковых систем

Кризисные явления в технологии поиска

Уже начиная с конца 1997 г. в развитии технологий поисковых систем на Западе наметился кризис, который не разрешился до сих пор. Суть кризиса состоит в том, что обе наиболее распространенные технологии (поисковые каталоги и поисковые указатели) зашли в тупик, связанный с тем, что пространство Web-развивается гораздо быстрее, чем растут объемы про индексированной области. Мы уже говорили о том, что к началу 2000 г. размер Web-пространства оценивается в 850 млн. документов, в то время как самые мощные поисковые системы еще не достигли индексов размером 300 тыс. документов.

Само по себе это явление не так страшно, но дело в том, что:

а) имеющийся разрыв неуклонно увеличивается;
б) поисковые системы только на словах стремятся проиндексировать как можно большую часть Web, а на самом деле им это ни к чему.

Если нужно пояснить последнюю мысль, то пожалуйста. Любой поисковой системе, как и любому бизнесу в Интернете нужен прежде всего доход. Увеличение объема проиндексированной части Web-пространства ведет во-первых к резкому увеличению накладных расходов, и, во-вторых, к сокращению количества потребителей. Почему оно сокращается? Да потому, что как только система достигает таких размеров, с которыми толком не может справиться, клиенты начинают от нее отказываться. И действительно:

  • запросы выполняются с каждым днем все медленнее и медленнее;
  • рекламы в поисковых системах становится все больше и больше (для того эти системы и растут, чтобы побольше получать рекламы и навязывать ее нам);
  • разбираться в результатах запросов с каждым днем становится все труднее;
  • все чаще нам встречаются повторяющиеся ссылки, указания на давно несуществующие документы и прочий подобный хлам.

К слову сказать, на российских поисковых системах мы кризиса не наблюдаем. Здесь наоборот с каждым месяцем новые технологии обеспечивают нас все более полной и точной информацией. Растет и уровень знания этих систем о Рунете, улучшается качество рейтингования Web-узлов, совершенствуются методы представления найденной информации. Успех российских поисковых систем закономерен. Он связан с тем, что они используют технику и технологии 2000 года применительно к узкому пространству документов, сравнимому с западным уровнем 1993 года. А вот на Западе сегодня большинство поисковых систем переживают кризис, причем глубокий. Он тянется уже три года, многих выбил с рынка и привел к серьезным изменениям в подходах к поиску информации. Этот кризис никем официально не объявлялся, но аналитики, занимающиеся исследованиями в Сети, его наблюдают давно, и видят десятки, если не сотни безуспешных попыток его преодолеть.

Вверх

 

Что происходит на самом деле

На самом деле крупнейшие мировые поисковые системы сейчас бьются за рекламодателей, и им по большому счету глубоко наплевать на то, какое качество поиска они предоставляют. До тех пор, пока количество посетителей у них растет (а оно растет хотя бы потому, что к Интернету подключаются все больше и больше людей), им, по большому счету, ничего не надо делать, чем они успешно и занимаются, хотя каждая система - по-разному.

  • Одни поисковые системы перестают вообще заниматься индексацией Web-пространства. У них уже нет средств наращивать материально-техническую базу, и им лучше купить результаты поиска у такой суперсистемы как Inktomi, чем поставить полтысячи мощных рабочих станций и пытаться с ней конкурировать. Общаясь с разными поисковыми системами, мы наивно думаем, что они имеют разное "знание" о ресурсах Web, в то время как они "черпают данные из одной бочки" и только "разливают их в разную посуду".
  • Многие системы в "волевом порядке* тормозят индексацию Web-пространства. Некоторые из них, например MetaCrawler, делают это вполне открыто. Они заявляют, что для поддержания качества указателя не намерены увеличивать его размер. Некоторые делают это тайно. На словах заявляя о своем развитии, они его тормозят. В частности, на этом была ловлена Alta Vista. Впрочем, и без этого каждый Web-мастер знает, насколько трудно стало в последние два года попасть со своей страничкой в указатели западных поисковых систем. Заполнив все необходимые формы, можно так и не дождаться, что тебя "проиндексируют", а если будешь слишком часто обращаться с напоминаниями, еще объявят спаммером и поставят в "черный список".
  • Все идет к коммерциализации. В своем обзоре мы отметили, что началось выборочное повышение рейтинга Web-страниц тем, кто платит за это деньги. Явным проявлением коммерциализации стало бурное развитие идеи порталов. Поисковые системы все дальше уходят от индексации Web и сосредотачиваются на обслуживании клиентов последними новостями, сводками погоды, курсами валют и прочим аналогичным контентом, который проще разбавляется рекламой, чем скупые страницы с результатами поиска.
  • Еще хуже дело обстоит у поисковых каталогов. Те, может быть, и рады бы расширить свое представление о ресурсах Web, но средств, имеющихся в их распоряжении, едва хватает на содержание батальона редакторов, успевающих поддерживать каталог на уровне до 1 миллиона документов.

Мы, как и десятки миллионов других пользователей Интернета, можем не догадываться о существовании кризисных явлений в системах поиска информации. Нас совершенно не интересуют объективные причины этих явлений, но мы каждый день ощущаем их на себе. Это ощущение проявляется в том, что получаем все больше и больше рекламы и все меньше и меньше полезной информации. Наверное именно этим можно объяснять бурный всплеск популярности поисковых систем, основанных на рейтинговании (типа "Рамблера"). Им не надо знать о Web слишком много. Вполне достаточно того, что по каждой теме они предлагают нам сотню самых популярных (это не всегда означает "лучших") ресурсов, и при этом дают их популярности количественную оценку.

Вверх

 

Возможные перспективы

В последнее время в области поисковых систем все чаще и чаще упоминается термин SMART-технологии. Здесь речь идет о принципиально новых приемах и методах индексации и каталогизации Web-пространства. Как и везде, где дело касается алгоритмов, конкретные сведения не разглашаются, хотя по скупым сообщениям можно понять, о чем здесь идет речь.

SMART-технологии имеют несколько компонентов. Один из них состоит в векторизации пространства документов. Грубо говоря, это делается так. Составляется некий достаточно большой словарь ключевых слов, где за каждым словом закреплено некое число. При индексации нового документа ему присваивается многомерный вектор, координаты которого рас считываются по словарю ключевых слов. Сам документ хранить не надо - достаточно хранить его адрес и вектор.

При получении запроса на поиск по ключевым словам, для этого запроса тоже можно построить математический вектор. Интересно отметить, что в принципе от пользователя не надо требовать ввода ключевых слов. Ему можно предложить иерархическую структуру, подобную каталогу. Пройдя по ветвям этой структуры до той темы, которая его интересует, он тем самым уже сформирует вектор поиска.

Далее надо просто сравнить этот вектор поиска с векторами проиндексированных документов. Идеален случай, когда вектора совпадут, хотя на практике такое вряд ли возможно, если вектор имеет очень много координат. При совпадении векторов их скалярное произведение равно нулю. Если они близки, то и их скалярное произведение близко к нулю. В общем, сложные и трудоемкие операции поиска заменяются расчетом косинуса угла между двумя векторами (чем он ближе к единице, тем точнее совпадение). При этом объем данных невелик, операции производятся мгновенно, систематизация результатов поиска происходит очень просто - по косинусу.

Мы можем прикинуть, какими техническими ресурсами должна обладать такая система. Если на каждый документ строить тысячемерный вектор, он уложится в килобайт. Миллиард документов займут массив размером 1000 Гбайт (пятьдесят современных жестких дисков) - это по силам даже малому предприятию. Все операции сравнения прекрасно распараллеливаются, и удобны для работы в многопроцессорной системе. Остается только проблема связи - необходимо иметь дорогой и производительный канал, например спутниковый или оптоволоконный, соединяющий такую систему с узлом опорной сети Интернет.

Таким образом, в ближайшие дни можно ожидать появления новых модных и недорогих систем поиска информации, работающим по новым технологиям.

Вверх

 

Автоматические каталоги

Понятно, что пользоваться поисковым каталогом гораздо удобнее, чем поисковым указателем. Одна беда - слишком мало он "знает" о реальном положении дел в WWW, поскольку составляется живыми людьми. Проблема могла бы решиться, если бы существовали средства автоматической каталогизации документов по каким-то формальным признакам. До сих пор таких средств не было. Лишь человек умел легко различать статьи по химии и физике. Компьютер при этом может наделать ошибки.

Возможно, что развитие SMART-технологи и приведет к автоматической каталогизации Web-ресурсов. На непросвещенный взгляд это не так трудно сделать: надо построить базовые векторы для разных областей человеческого знания, сравнить векторизованные документы с этими базовыми век торами и разнести документы в тысячи разных папок. На самом деле это не так просто, поскольку полная векторизация всех областей человеческого знания - это задача не на один год, особенно если учесть, что работу надо провести не только для английского языка.

Вверх

 

Первые ласточки?

Поисковые системы очень неохотно открывают технологии, по которым работают. Пока мы не можем уверенно сказать, кто именно и в каком объеме уже использует SMART-технологии, но строить предположения все-таки можно. В частности, удивительным выглядит успех поисковой системы Fast Search (www.fastsearch.com), которая начала работать в мае 1999 г. и уже в августе того же года вышла на первое место в мире по объему проиндексированного пространства. Она очень быстро работает и представляет данные в виде каталогов! Более того, в системе действуют разные поисковые машины, распределенные по направлениям: медицина - отдельно, юриспруденция - отдельно. Вся система вводится в строй очередями. В начале 2000 г. начинают работать поисковые машины по спорту, туризму и электронной коммерции.

Не являются ли эти особенности развития системы следствием того, что в ее основе лежат SMART-технологии и векторная модель пространства? Это могло бы объяснить и невероятный темп развития, и характер представления информации, соответствующий каталожному, и даже ввод системы в строй тематическими очередями. Ответа на этот вопрос пока у нас нет, но думаем, что скоро мы увидим появление поисковых систем нового поколения, которые не будут сдерживать индексацию ресурсов и будут лучше соответствовать потребностям XXI века.

Вверх

 

Феномен "Alexa"

На размышления о том, что где-то в Сети уже работают поисковые службы, основанные на SMART-технологии, нас натолкнуло знакомство с поисковой службой Alexa. Скажем сразу, что один раз попробовав работать с ней, далее невозможно отказаться, поскольку без нее чувствуешь себя слепым в чужом городе.

Принцип работы системы Alexa. В основе этой системы лежит гениальная идея отказа от использования автоматических средств сканирования Web. Эта работа возлагается на плечи самих клиентов службы (сегодня их более трех миллионов человек). Суть идеи проста и очевидна.

После соединения с сервером (www.alexa.com) на наш компьютер устанавливается клиентская программа службы, которая сама "цепляется" к браузеру в виде дополнительной панели. На момент написания этой книги существуют версии клиентских программ как для Internet Explorer, так и для Netscape Navigator.

При запуске браузера автоматически запускается и клиентская программа. Она устанавливает связь с собственным сервером и открывает в браузере дополнительную панель (вертикальную или горизонтальную, по вкусу пользователя). Куда бы мы теперь ни направились в Web-пространстве с помощью браузера, Alexa всегда "видит" то, что видим мы, "читает" то, что читаем мы и постоянно информирует свой сервер о каждом открытом нами документе. Когда три миллиона человек занимаются путешествиями в Web-пространстве, темп поступления индексированных документов на центральный сервер службы может быть в тысячи раз больше, чем у служб, использующих автоматические роботы.

Правда, при этом возникает вопрос, а что от этого имеем лично мы кроме некоторых заметных задержек с запуском браузера и переходом между страницами? Оказывается, очень многое.

1. Центральный сервер очень быстро сформировал широкий взгляд на пространство WWW, причем не "машинный", а вполне человеческий взгляд живых пользователей. В тот момент, когда мы посещаем страницу, которую до нас уже посещал кто-то из пользователей системы, эта страница получает дополнительный балл.

2. Мгновенно проиндексировав посещенную нами Web-страницу, Alexa сравнивает ее содержание с миллионами других ранее проиндексированных страниц и немедленно сообщает нам о том, что есть в Сети "похожего" на то, что видим мы. Нам не надо ничего искать! Все предложения системы находятся перед нашими глазами - выбирай и пользуйся. Более того, при выдаче этих предложений система учитывает, что выбрали наши предшественники. С каждым днем ее рекомендации становятся точнее и разумнее.

3. Если есть желание оставить память о своем посещении какой-то Web-страницы, это можно сделать с помощью той же самой системы. Это называется рецензированием. Напишите все, что вы думаете об ее авторе и содержании, и те, кто пойдут вашим путем и попадут туда же, смогут узнать ваше мнение.

Кроме перечисленного выше, система предоставляет еще множество разных услуг. Например, с ее помощью можно не изучать правила синтаксиса для ввода запросов на серверах крупнейших поисковых служб. Вполне достаточно сформировать свой запрос в соответствии с правилами системы Alexa, a она сама "переведет" его на язык, понятный другим поисковым системам, отправит запрос и вернет результаты.

Многие Web-страницы содержат невидимую для пользователей информацию о том, где находится и кому принадлежит тот узел, с которым они связываются. Alexa делает эту информацию видимой.

В общем, Alexa ежеминутно оказывает множество полезных и интересных услуг. С ее помощью можно вообще отказаться от использования большинства поисковых систем и заниматься навигацией в Web по ее рекомендациям.

Заканчивая этот раздел, мы честно признаемся, что пока не знаем, какие механизмы лежат в основе функционирования этой уникальной службы. Но у нас есть множество оснований предполагать, что это работает SMART -технология. В таком случае мы, скорее всего, увидим в ближайшие годы множество неожиданных решений в области поиска информации. На наших глазах поиск становится увлекательной игрой. Освойте правила этой игры, запаситесь необходимыми инструментами, и никакой информационный бум вам не будет страшен.

 Вверх    Содержание    Вперед