Метапоисковые системы

Заставим искать все поисковики одновременно.

Количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии. Но, тем не менее, эксперты утверждают, что доля непроиндексированного, “темного” Интернета для каждой поисковой системы (даже для такой мощной, как Gooogle) возрастает месяц от месяца. Т.к. разные поисковики используют разные алгоритмы поиска и уделяют “особое” внимание разным участкам сети, к которым они наиболее адаптированы, логично во многих случаях искать сразу несколькими поисковыми машинами. Эту возможность и предлагают searchbots, метапоисковые системы.

В основу работы searchbots заложен следующий принцип: из запроса пользователя генерируются запросы, отформатированные в синтаксисе и логических конструкциях каждого конкретного поискового ресурса

Таким образом, из одного запроса метапоисковая машина делает множество запросов, которые затем рассылаются широкому кругу поисковых машин (и/или каталогов).

Рассмотрим метапоисковые машины, устанавливаемые на компьютеры пользователей. Они удобны и могут настраиваться на круг запросов и интересов конкретного человека. Сейчас можно найти несколько десятков систем этого класса.

Одна из популярнейших таких систем - Copernic Agent, программа компании Copernic Technologies.

Это мощное и понятное средство, позволяющее самостоятельно выбирать тематические категории, поисковый и предметный домен, задавать состав глобальных поисковых машин.

Результаты поиска хранятся в собственной базе программы, их можно сохранять в файлах стандартных форматов вместе с гипертекстовыми ссылками. Размеры аннотаций (описаний) можно менять, программа сама обновляет базы поисковых ресурсов при каждом подключении к Интернету. Программа платная.

Версии Personal (30 долл.) и Professional (80 долл.) работают с сотнями общих и специализированных поисковых систем и имеют такие функции, как удаление баннерной рекламы со страниц результатов или (в версии Pro) автоматический поиск по расписанию.

Платные версии работают не только с индексами поисковых машин. Они умеют работать с контентом многих крупных издательств и агентств. Посылают запросы к CNN, MSNBC, New York Times, Forbes и т.д.

Бесплатная версия Copernic Agent Basic достаточно ограничена в возможностях поиска и его настройках, но вполне работоспособна.

Бесплатная версия позволяет:

· Искать используя язык запросов (1).

· Определять область поиска (3) В бесплатной версии область поиска ограничена основными поисковыми машинами и онлайн-магазинами.

· Сохранять ранее вводимые поисковые запросы (2)

· Сохранять результаты поиска (4). Очень полезная опция – кроме очевидной экономии времени и интернета на поиск, ее можно использовать для отслеживания динамики индексации вашего личного сайта поисковыми машинами.

Последняя версия Copernic Agent 6.12, для версии 6.11.621 в сети есть русификатор.

Интерфейс русифицированной версии Copernic Agent Professional показан на рисунке.

С недавних пор Copernic предлагает свою настройку к браузеру, свой ToolBar:

Он осуществляет поиск по широкой базе поисковиков, подсказывает “связанные” с вашим поиском слова, но пока абсолютно не понимает русский язык, в отличии от Copernic Agent. Поэтому порекомендовать его возможно только для поиска в англоязычной части Веба.

Достаточно серьезный минус, присутствующий и в ToolBar программы и в ее бесплатной версии - отсутствие поиска по базе Google. Видимо, самый популярный поисковик не дал согласия на совместное сотрудничество.

Search +

Сайт: srchplus.chat.ru

Одно из бесспорных преимуществ этой программы состоит в большом списке доступных поисковых машин и очень удобном способе их группировки в разделы. Пользователям программы доступно около 40 тематических разделов, среди которых только разделов, посвященных программному обеспечению существует около 10, пять разделов "Мультимедиа", а также "Погода", "Работа", "Новости", "Поисковые системы" и многие другие.

Кроме этого, каждый из сайтов, сохраненных в каталогах программы, имеет еще одну характеристику - он принадлежит одной из 9 категорий, соответствующих географическим регионам. Здесь представлены следующие категории - "Belorussia", "Russia", "Ukraine", "UK", "World" и другие. При поиске пользователь может ограничить использование поисковых машин и каталогов лишь одного региона. Небольшой ложкой дегтя во всем многообразии доступных средств поиска является невозможность дополнить стандартный список поисковых средств своими.

При формировании поискового запроса в программе необходимо указать не только искомую фразу, но и подкатегорию (если категория это предусматривает), а также режим поиска и способ сортировки результата. Интерфейс программы также один из наиболее удобных. В верхней части программы представлена история запросов, для каждого запроса отображен результат поиска и параметры поиска

.

Следует отметить наглядность представления результатов поиска. В процессе поиска программа фиксирует результат работы каждой поисковой машины, указывая количество обработанных ссылок и число, которое было включено в результирующий список сайтов.

Для каждой ссылки можно просмотреть ее свойства - источник, с помощью которого ссылка была найдена, вес, а также указана дата создания документа и цитата, содержащая поисковый запрос.

Можно упорядочить список по любому из этих параметров, новые ссылки выделены в списке полужирным шрифтом. Доступен поиск в найденном. Полученный список ссылок можно сохранить как во внутреннем формате программы, так и в одном из стандартных форматов, например, HTML.

Достоинства: очень большой список поисковых машин, удобный интерфейс, широкие возможности управления полученным списком, удобный интерфейс.

Copernic Agent и подобные ему программы, даже в профессиональной версии, все же остаются некоторым усовершенствованием, надстройкой, к механизму поиска обычных поисковых машин. Хочется отметить, что существуют системы, на которых реализован алгоритм поиска более изысканный, чем в общедоступных поисковиках. Например - системы со словарем синонимов (просим “компьютер” - находим “ЭВМ”). Системы со встроенным механизмом распознавания объектов (дат, фамилий, адресов пр..) в тексте. Системы, с автоматически строящимся каталогом над базой страниц, автоматически классифицирующие их. С реализацией одной из таких систем, разработанной фирмой Convera Technologies и адаптированной с учетом специфики русского языка можно познакомиться по адресу http://www.vest-meta.ru/product/Convera/rss.asp. Как правило, более сложный алгоритм поиска существенно влияет на время обработки результатов. Поэтому такие системы особенно полезны для корпоративных сетей и организации внутренней базы документов.

Дата добавления: 2014-01-03