Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Первый закон Зипфа





Законы Зипфа

Оказывается, все созданные человеком тексты построены по единым правилам! Никому не удается обойти их. Какой бы язык ни использовался, кто бы ни писал - классик или графоман, - внутренняя структура текста останется неизменной. Она описывается законами Зипфа (G.K. Zipf).

 

Выберем в тексте любое слово и посчитаем, сколько раз оно встречается в тексте. Эта величина называется частотой вхождения слова. Измерим частоту вхождения каждого слова текста. При этом некоторые слова будут иметь одинаковую частоту, то есть входить в текст равное количество раз. Объединим слова с одинаковой частотой вхождения в одну группу. Расположим частоты по мере их убывания и пронумеруем. Порядковый номер частоты назовём рангом частоты. Так, наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними - 2 и т. д. Определим вероятность вхождения конкретного слова в текст. Вероятность будет равна отношению частоты вхождения этого слова к общему количеству всех слов в тексте.

Вероятность = Частота вхождения слова / Количество слов в тексте

Джорж Зипф (G. K. Zipf) в 1949 году обнаружил интересную закономерность. Оказывается, если умножить вероятность вхождения слова в текст на ранг частоты, то получившаяся величина (С) приблизительно постоянна:

С = (Частота вхождения слова х Ранг частоты) / Количество слов в тексте = const

Преобразовав эту формулу к виду:

Частота вхождения слова = (Количество слов в тексте х С) / Ранг частоты,

и учитывая, что не только C, но и количество слов в конкретном тексте – величины постоянные, легко заметить, что функция Частота вхождения слова(Ранг частоты) есть функция вида y=k/x (где k=const, x – аргумент функции y) и ее график - гипербола, представленная на рисунке 1. Следовательно, по первому закону Зипфа, если самое распространенное слово встречается в тексте, например, 100 раз (соответствует значениям y = 100/1), то следующее по частоте слово вряд ли встретится 99 раз. Частота вхождения второго по популярности слова, с высокой долей вероятности, окажется около 50 (y = 100/2), третьего – около 33 (y = 100/3), четвертого – около 25 (y =100/4) и т. д. Значение константы С в разных языках различно, но внутри одной языковой группы остается неизменно, какой бы текст мы ни взяли. Так, например, для английских текстов константа Зипфа равна приблизительно 0,1, для русского языка - 0,06-0,07.

Рисунок 1 - Зависимость Частоты вхождения слова от Ранга частоты

Поможем в написании учебной работы
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой




Дата добавления: 2014-01-03; Просмотров: 1696; Нарушение авторских прав?;


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



ПОИСК ПО САЙТУ:


Читайте также:
studopedia.su - Студопедия (2013 - 2022) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.017 сек.