Структурно-функциональная организация типовой поисковой машины Интернет

Сравнительный анализ информационно-поисковых систем.

Прове­дем сравнительный анализ документальных, фактографических и гипертекстовых ИПС по ряду показателей. Результаты представим в табл. 9.1.

Таблица 9.1

Сравнительный анализ ИПС

Характеристика ИПС	Виды ИПС
Документальные	Фактографические	Гипертекстовые
Полнота и шум	kn max =0,5 kш max = 1	kn max =1 kш max = 0	kn max =0,9÷1,0 kш max = 0,1÷0,2
Систематизирующая информация	Поисковые образы документов, мета-данные	Значения атрибутов объектов предметной области	Гипертекстовое представление документов, мета-данные
Тип поискового аппарата	Информационно-поисковые языки с развитой грам-матикой	Языки реляционного типа	Гипертекстовый тезаурус
Трудоемкость подготовки инфор-мационного массива	Требуется специ-альная лингвис-тическая подготовка сотрудника	Требуется высокая квалификация сотрудника	Относительно не-сложная подготовка по типам семан-тических связей
Структуры данных	Прямые и инверс-ные списки	Иерархические или реляционные струк-туры	Семантическая сеть: вершины – понятия, ребра – отношения
Математический характер критериев поиска	Логические и алгеб-раические выраже-ния	Логические и алгеб-раические выраже-ния	Семантические признаки
Тип собственного языка системы	Специальные информационные языки (например, Сетка-5)	Специальные языки (SQL, QBE)	ОЕЯ предметной области

Обеспечение высокой точности и полноты поискового про­цесса не являются единственным критерием эффективности ин­формационно-поисковых систем. Не менее важным является и показатель быстродействия, то есть среднее время поиска одной структурной единицы, например, документа в БЗ. Эта проблема особенно актуальна для многомодульных иерархических баз зна­ний, содержащих значительное количество документов.

Таким образом, эффективность информационного поиска не­обходимо рассматривать в контексте обеспечения высоких харак­теристик точности, полноты и быстродействия.

Информационно-поисковые системы (поисковые машины) позволяют находить ресурсы Internet непосредственно по их тек­стовому содержимому. Функционирование поисковой машины включает два базовых процесса:

1) индексирование ресурсов Internet (автоматическое построение и обновление индекса);

2) поиск по индексу в соответствии с запросом пользователя.

Упрощенная структура типовой поисковой машины показана на рис.

Ее главными компонентами являются:

- программный агент, «перемещающийся» по сети и индексирующий ресурсы (web-страницы);

- база данных (БД) (индекс), содержащая информацию, соби­раемую агентом;

- программа поиска, применяемая пользователя­ми для поиска информации в БД.

На этапе индексирования поисковые машины реализуют сле­дующий примерный алгоритм работы.

1. Адреса web-узлов, включаемые в обрабатываемую область, определяются по гиперссылкам, ведущим из страниц данного web-узла. При этом используются различные модификации вол­нового алгоритма (например, с вычислением профилей узлов).

2. Агент либо переходит к индексированию очередного web-узла из сформированного списка, либо выполняет так называемое зеркалирование (дублирование) его содержимого на свой web-узел.

3. Производится собственно индексирование. Оно может быть полнотекстовым (обрабатывается весь текст) и неполнотекстовым (обрабатываются наиболее значимые части текста: заго­ловки, названия, ключевые поля, начальные слова разделов и т. д.).

4. Полученные данные о ключевых словах добавляются в БД.

5. Если был сделан зеркальный дубль, он стирается.

6. Пункты 2-5 повторяются для каждого адреса, полученного в п. 1.

Изложенный алгоритм соответствует некоторой канониче­ской структуре поисковой машины. Конкретные их реализации различаются по многим параметрам: поддержке простого и сложного поиска; учету различий строчных и прописных симво­лов; возможности поиска по частям слов и словосочетаниям; поддержке обработки запросов, содержащих логические операто­ры И, ИЛИ, НЕ; использованию специальных языков поиска ин­формации, значительно сокращающих его время (к сожалению, такие языки не стандартизованы, поэтому в разных поисковых машинах реализуются различные поисковые языки).

Рис. 4.3. Упрощенная структура типовой поисковой машины

Дата добавления: 2014-01-11