Оценка векторной модели

В лингвистическом тексте.

Фонема

Звук

Сравним термины

Мера близости.

Оценка значимости термина в документе и запросе.

Векторная модель ИП

Оценка булевской модели

Принцип хранения данных

Работа с логическими операторами (And, Or, (And)Not)

Булевская модель ИП

Модели ИП

Формат запросов

Формат представления данных в ПС

Базовые установки ПС

В закрытой коллекции (свои особенности)

Поиск

Пополнение баз ПС

Вопросы к индексу

Инвертированный файл индекса

Предварительная обработка запроса

преобразование языковых выражений:

[что такое Х?]=[Х – это…]

[как купить Y?]=[купить Y]=[магазин + Y] и т.д.

в индексе поисковой системы значатся слова коллекции документов, а для каждого слова перечислены все места, в которых оно встретилось:

подберезовик: 1®3®7®10®15

подосиновик: 2®3®51115®23

опенок: 10®15®27114

Сколько единиц должен содержать индекс?

Какова вероятность отсутствия нужных ссылок в индексе?

Как должен изменяться индекс в соответствии с изменением источников информации?

Прямая индексация: разработчик сайта сам посылает информацию в ПС.

Программы-роботы, которые находят ссылки на новые страницы; запускаются разработчиками ПС (основной способ).

в «открытом пространстве» Интернета

Принцип человеко-машинного взаимодействия. Возможное участие экспертов в индексировании:

деньги Û качество

Оценка релевантности документов (степени близости запроса и документа)

Булевская (булевая, boolean model, двоичная модель): опирается на операции пересечения, объединения и вычитания множеств.

Векторная: документы и запросы рассматриваются как векторы в пространстве слов, а релевантность как расстояние между ними.

Толстой And Достоевский [++]

Толстой Or Достоевский [+/+]

Толстой Not Достоевский [+/–]

Простота и удобство для тех, кто умеет пользоваться логическими операторами, но…

излишняя строгость, отсутствие механизмов оценки релевантности слова для документа (и, соответственно, запроса), требование вроде простых, но все же специальных знаний.

Вес термина: отношение между частотой в тексте и частотой в коллекции (TF/DF)

насколько часто встречается в документе?

Частота термина (term frequency, TF) – частота употреблений слова в документе.

насколько часто встречается в коллекции?

Частота (слова) в документах (document frequency, DF) – число документов в коллекции, содержащих данное слово.

Чем чаще термин встречается в коллекции, тем он менее интересен!

Какой более значим для автоматической оценки содержания текста и определения его тематики?

Оценивается важность термина (есть механизм ранжирования), но…

Дата добавления: 2015-07-02