Программы – экстракторы

Программы – экстракторы предназначены для автоматизации процесса компрессии текста с сохранением в сжатом тексте (реферате) основного смысла исходного текста.

Принцип действия простейших программ – экстракторов основан на автоматизированном поиске ключевых слов, что было описано выше. Сжатый текст – реферат – представляет собой смысловой портрет исходного текста в терминах фраз, содержащих ключевые слова, т.е. набор, список предложений реферируемого текста, которые содержат ключевые термины содержания. Обычно, имеется возможность настраивать «подробность» получаемого реферата. Конечно, это еще не полноценный реферат, так как тезисы в основном не связаны между собой стилистически, а просто выбраны из текстов по принципу наличия в них наиболее часто встречающихся слов (в реферат включаются предложения, содержащие слова, частота встречаемости которых превышает установленный пользователем порог). Однако и такой подстрочник реферата оказывается достаточно информативным, чтобы составить общее представление о тексте и уяснить его основные мысли.

В качестве примера программы автоматического реферирования, работающей с русским текстом, можно привести разработанную фирмой «Научно-производственный инновационный центр «Микросистемы» программу TextReferent, которая в свою очередь, является составной частью более мощной системы автоматического анализа текста TextAnalyst. Демонстрационная версия этой программы доступна бесплатно на сайте фирмы http://www.analyst.ru/index.php?lang=rus&dir=&id=body&left=menu.txt.

Система TextAnalyst (текущая версия 2.01), разработана в качестве инструмента для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов, и предоставляет пользователю кроме реферирования текста следующие основные возможности:

· анализ содержания текста с автоматическим формированием семантической сети с гиперссылками - получения смыслового портрета текста в терминах основных понятий и их смысловых связей;

· анализ содержания текста с автоматическим формированием тематического древа с гиперссылками - выявления семантической структуры текста в виде иерархии тем и подтем;

· смысловой поиск с учетом скрытых смысловых связей слов запроса со словами текста;

· кластеризация информации - анализа распределения материала текстов по тематическим классам;

· автоматическая индексация текста с преобразованием в гипертекст;

· ранжирование всех видов информации о семантике текста по «степени значимости» с возможностью варьирования детальности ее исследования;

· автоматическое/автоматизированное формирование полнотекстовой базы знаний с гипертекстовой структурой и возможностями ассоциативного доступа к информации.

В исходном тексте выделяются цветом и подчеркиваются термины, которые TextAnalyst предлагает использовать в качестве ключевых слов, терминов, отражающих смысловое содержание работы. Пользователь может исключить часть этих слов или добавить другие, что будет учтено программой в дальнейшей работе.

Как уже было отмечено выше, реферат в виде списка наиболее информативных с точки зрения формального наличия в них предложений исходного текста весьма примитивен в стилистическом отношении. Кроме того, составленный по такому принципу реферат не может отражать семантику контекста.

Существуют системы автоматического реферирования текстов, основанные на использовании методов искусственного интеллекта, позволяющие формировать реферат путем генерации стилистически весьма совершенных грамматических конструкций, в том числе, и с учетом семантики контекста.

С обзором систем автоматического реферирования текстов можно познакомиться, например, в публикации Удо Хан, Индерджиет Мани в журнале
Открытые системы, №12/2000, электронная версия которой размещена в сети Интернет по адресу http://www.osp.ru/os/2000/12/067.htm

Добавить Показатели сложности лингвистических конструкций текста

Дата добавления: 2014-01-03