Какова должна быть детальность словаря?

Какие учесть типы отношений?

Принцип отбора лексических единиц.

В настоящее время не существует методов построения оптимальных словарей. Наука и практика располагает лишь определенными принципами построения более или менее хороших словарей.

Эти принципы базируются на свойствах слов и текстов естественного языка, таких как информативность слов, омонимия, синонимия и полисемия слов и фраз; синтаксическая эквивалентность фраз; отношения между словами; изменение со временем значения слов; ненормализованность слов и т.д. При построении словарей приходится решать три основные проблемы:

1. Какие слова включать в словарь?

Решение первой проблемы в основном базируются на учете синонимии, омонимии и полисемии, а так же информативности слов, косвенным показателем которой является частота их встречаемости в текстах.

С учетом этого, принципы отбора слов при решении первой проблемы состоят в следующим:

1. Не включать в словари редких терминов

2. Исключать общие понятия с высокой частотой встречаемости

3. В каждый класс понятий вводить слова только с одинаковой частотой встречаемости

4. Использовать только устойчивые слова и словосочетания

5. Исключать незначащие (в пределах данных текстов) слова, тщательно их проанализировав

6. Неоднозначные термины применять только в том значении, которое они имеют в данном массиве

Типы парадигматических и синтагматических отношений, используемых в ИПЯ, определяют его смысловыразительную способность, которая возрастает с увеличением числа и усложнением типов учитываемых отношений.

Основные принципы, которыми необходимо руководствоваться при выборе таких отношений:

1. Затраты на разработку, ведение и использование словарей не должны превышать эффекта от их применения

2. Выбор типов отношений зависит от предполагаемых целей и областей использования ИПЯ и определяется необходимой полнотой и точностью поиска информации

3. Перед переходом к учету ситагматических отношений необходимо исчерпать возможности парадигматики

Это связано с тем, что парадигматика позволяет найти область решений, а синтагматика – конкретное решение.

Степень детализации словаря определяет полноту и точность поиска. Широко употребляемые термины дают большую полноту, но низкую точность поиска.

При выборе степени детализации словарей необходимо учитывать заданные ограничения на желаемую полноту и точность поиска, а также иметь иерархию словарей и использовать их различные уровни при поиске информации по разным запросам.

Одной из актуальных задач информационно-поисковых систем является поиск аналогов. Сложность этой проблемы заключается в том, что по поисковому образу запроса, выраженному в данной области знаний или отрасли техники, необходимо найти документ-аналог, поисковый образ которого выражен в терминах другой области знаний. Возникает межъязыковой барьер совместимости профессиональных языков.

Один из путей преодоления такого барьера состоит в фасетном принципе организации словарей, т.е. в построении одноименных фасет в словарях всей области знаний и метафасет или трансляторов для перевода терминов одной области знаний в термины другой области знаний в пределах заданного фасета.

Другой путь решения той же проблемы состоит в построении иерархического комплекса словарей, охватывающие все области знаний.

Дата добавления: 2014-01-11