Хранение индексированных документов

Организация хранения массива поисковых образов документов – одна из критических частей поискового аппарата ИПС.

Индексирование документов является разовым процессом в локальных системах, или постоянным в глобальных, но в любом случае оно не производится одновременно с поиском (для поиска и индексирования не используются одновременно одни и те же аппаратные ресурсы). Вследствие этого скорость поиска информации в ИПС определяется скоростью доступа к хранилищу поисковых образов (второй влияющий фактор – поисковый алгоритм), которая зависит от структуры и объема базы данных документов.

Прямой просмотр файлов поисковых образов документов занимает слишком много времени, что является неприемлемым для пользователя, особенно в Интернет. Поэтому база данных документов обычно организуется в виде ряда связанных друг с другом таблиц.

Помимо информации о соответствии терминов и документов (идентификаторы терминов и документов, веса терминов и т. д.), в базах данных ИПС хранятся также различные дополнительные сведения. Некоторые из них непосредственно используются при поиске, например, даты последних изменений документов или информация о содержащихся в документах ссылках на другие документы (это особенно актуально для ИПС сети Интернет). Часть данных необходима для облегчения работы пользователя с результатами поиска (заголовки и аннотации документов и др.). Обычно информация о терминах и документах, которая находится в базах данных ИПС, может быть использована одновременно для нескольких алгоритмов поиска (см. раздел 11).

Рассмотрим общую структуру базы данных поисковых образов интернет-документов (гипертекстовых страниц).

Рис. 3. Структура базы данных поисковых образов

База данных (рис. 3) состоит из таблицы адресов страниц, таблицы ключевых слов, таблицы заголовков страниц, таблицы с датами изменения страниц, таблицы гиперссылок, а также двух таблиц-списков – прямого и инвертированного.

Дата добавления: 2014-01-20