Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Перечень основных эмпирических характеристик 8 страница




 

 

ГЛАВА IV

 

ОСНОВНЫЕ ПОЛОЖЕНИЯ ОБЩЕЙ ТЕОРИИ

СИГНАЛОВ КАК КОНЦЕПТУАЛЬНЫЙ АППА-

РАТ ТЕОРИИ ПСИХИЧЕСКИХ ПРОЦЕССОВ

 

1.06 общей структурной схеме контура управления

Если рефлекторная теория впервые раскрыла общие принципы

организации нервных и нервно-психических процессов, осуществив

это фундаментальное обобщение путем выхода за пределы как пси-

хологии, так и нейрофизиологии, то следующий этап научного обоб

щения, естественно, оказался связанным с итогами развития еще

более широкой области смежных с психологией дисциплин, охва-

тывающих собою все явления передачи сигналов. Но уже внутри

концептуального состава рефлекторной теории не только сложи-

лись исходные предпосылки общей теории сигналов, но были при-

влечены и эффективно использованы понятия из смежных, более

общих областей знания. <

 

 

Выше отмечалась многоуровневая иерархическая структура са-

мого понятия рефлекса, включающая в свой объем физическое

взаимодействие, биологическое приспособление, поведенческий акт,

нервные и нервно-психические процессы. И. Д.Ца-влой прямо фор-

мулировал необходимость трактовать рефлекс в биологических тер-

минах как приспособление, а в общефизических терминах-как

частный случай процесса уравновешивания взаимодействующих

материальных систем. Последующий ход развития науки показал,

что применительно к соотношению живой системы с внешней сре-

дой понятие уравновешивания должно быть существенно модифи-

цировано средствами как его обобщения, так и дополнительной

конкретизации (Э. Бауэр). Но включение И. П. Павловым этого

понятия в категориальный аппарат рефлекторной теории было вы-

ходом в сферу общефизических принципов, по отношению к ко-

торым биологические, физиологические и психологические за-

кономерности выступали в качестве специфических частных слу-

чаев.

Специфичность той частной формы уравновешивания, которая

воплощена в рефлекторном акте, состоит в том, что его организа-

ция определяется не только общефизическими силовыми, энерге-

тическими законами..Уравновешивание осуществляется здесь пу-

тем передачи сигналов и их организующего воздействия на эффек-

торное звено акта. Не случайно поэтому И. П. Павлов определяет

рефлекс и как способ уравновешивания, и как результат сигнали-

зации.

Таким образом, внутри концептуального аппарата рефлектор-

ной те.ории содержатся категории, существенная часть объема кото-

рых находится вНе сферы рефлекторных актов. Именно поэтому

их дальнейшее теоретическое развитие и становление общей теории

управления и единой теории сигналов по необходимости вышло за

рамки учения о рефлекторной деятельности и охватило все виды

известных сигнальных и регуляционных процессов, общность при-

роды которых стала открываться исследованию благодаря емкости

и эвристической силе новой системы понятий. Прежде всего в ка-

тегорию сигнальных процессов вошли внутрииндивидные биологи-

ческие регуляции, не осуществляющиеся средствами нервного ап-

парата. Таковы все гуморальные регуляции, носящие гораздо бо-

лее общебиологический характер и представленные и в организмах,

в которых нервная система вообще отсутствует. Затем сюда вошли

межиндивидуальные регуляции биологических систем надорганиз-

менного уровня. Хорошо известно, насколько понятие о сигналь-

ном характере видо-индивидных и генотипически-фенотипических

взаимодействий теоретически обогатило современную генетику.

Однако решающий шаг обобщения принципа сигнальности свя-

зан с его возвратом в лоно техники, где это понятие в его перво-

родном варианте, собственно, и зародилось. Эта существенная веха

развития концептуального аппарата связана с современной техни-

ческой революцией, приведшей к возникновению принципиально

нового класса машин, реализующих не технологические или энер-

 

й

 

готические функции, а операции управления, которые моделируют

нервно-психические акты человека. Тем самым к числу различных

видов сигнальных процессов прибавились сигналы технические.

Именно технические системы, работающие с сигналами, стали од-

ним из решающих факторов кибернетического синтеза, приведшего

к кристаллизации категориального аппарата общей теории сигна-

лов, подобно тому как энергетические машины стали основой важ-

нейших обобщений в области термодинамики, являющейся общей

теорией энергетических превращений.

Общегносеологические основания такой принципиальной роли

технических моделей человеческих функций заключаются в том,

что, в отличие от живой системы как <черного ящика>, техническая

система представляет собой <белый ящик>, функциональная схема

которого создана самим конструктором, и поэтому ее механизм,

естественно, полностью известен и понятен. Практическое возник-

новение и развитие таких систем, создававшихся вначале совер-

шенно независимо от биологических и нейропсихологичесКих зна-

ний, неизбежно повлекло за собой сопоставление этих технических

моделей с их натуральными оригиналами (т. е. соотнесение <чер-

ного> ящика с ящиком <белым>, или прозрачным). А это соотнесе-

ние именно благодаря прозрачности функциональной схемы <бело-

го> ящика оказалось эффективнейшим эвристическим средством

раскрытия общих законов структуры и управляющей функции

сигнала, распространяющихся как на биологические, так и на тех-

нические системы. Предельно обобщенным выражением логики та-

кого сопоставления <прозрачного> ящика с ящиком <черным> яв-

ляется подзаголовок <Кибернетики> Н. Винера - <Управление

и связь в животном и в машине>.

Наиболее близко лежащей к эмпирически доступной поверх-

ности и поэтому прежде всего открывшейся при таком сопостав-

лении формой общности органических и технических управляющих

систем явилось подобие их принципиальной структурной схемы.

Не случайно Н. Винер уже в самом начале своей основной мойо-

графии делает заключение о том, что <многие современные ав-

томаты имеют связь с внешним миром, выражающуюся как в вос-

приятии впечатлений, так и в выполнении действий. Они содержат

органы чувств, исполнительные органы и какой-то эквивалент

нервной системы, объединяющий передачу информации от первых

ко вторым. Их вполне можно описывать при помощи физиологиче-

ских терминов. Не удивительно, что автоматы и физиологические

системы можно охватить одной теорией>?

Таким образом, оказалось, что анатомия управляющего аппа-

рата организма - нервной системы и конструкция технических си-

стем регулирования имеют общую схему строения, включающую

основные блоки с однородной в принципе функциональной нагруз-

кой. При этом было обнаружено, что и в организмах и в автома-

 

См.: Винер Н. Новые главы кибернетики. М., 1963.

° Винер Н. Кибернетика. М" 1958, с. 62. (Курсив наш.-Л. В.)

 

 

тах имеются как разомкнутые, открытые, так и замкнутые, кольце-

вые схемы управляющих систем. Жесткая цепь дуг безусловных

рефлексов, работающая без учета опыта подкрепления (инстинк-

тивные реакции в неадекватных условиях), и системы жесткого

автоматического управления, работающие без коррекции ошибок,

т. е. независимо от адекватности рабочего эффекта, представляют

собой различные проявления единого принципа, разомкнутого кон-

тура управления. Кольцевой же механизм условных рефлексов, ко-

торые замыкаются в зависимости от обратной афферентации, и схе-

ма систем автоматического регулирования с обратной связью пред-

ставляют собой разные частные формы замкнутого контура регу-

лирования.

Таким образом, рефлекторная дуга и рефлекторное кольцо ока-

зались частными, случаями общих принципов структуры управляю-

щих систем. Этот вывод существен не только сам по себе, но еще

и потому, что опыт истории познания показывает, что если прин-

цип, вскрытый на предшествующих этапах развития науки, затем

может быть получен в качестве частного случая более общей тео-

рии, то это свидетельствует о надежности как новой, более общей

теоретической концепции, так и предшествущей, более конкретной

ее формы.

Ходы анализа по концептуальным <столбцам> иерархической

матрицы ступеней обобщения стимулируют дальнейшую конкрети-

зацию структурной схемы контура управления. Так, можно, веро-

ятно, полагать, что морфология нейрона как элемента рефлектор-

ной дуги или кольца,-дендриты (вход), тело (центральный, инте-

Гративный <блок>) и аксон (выход) -сама по себе также является

анатомическим, конструктивным воплощением функциональной

сущности рефлекторного акта именно как-частной формы управле-

ния. Такой вывод диктуется тем, что акт управления по своему ис-

ходному смыслу предполагает согласование выходных и входных

процессов в системе, осуществляемое средствами центрального ап-

парата.

Таким образом, иерархии ступеней обобщения (контур управле-

ния-рефлекторное кольцо--схема нейрона) соответствуют, по-ви-

димому, свои конструктивно-анатомические эквиваленты в разных

масштабах структурных единиц управляющих систем. Так в ходе

обобщения единство структуры обнажает общность принципов ди-

намики, <приуроченной к этой структуре> (Павлов). Не только

рефлекторное кольцо и схема нейрона раскрывают свою природу

контура регулирования, но и рефлекторный акт, рассматриваемый

сквозь призму более общей системы понятий, обнаруживает свою

функциональную сущность частной формы управления.

Так логика структуры контура управления ведет к выяснению -

функциональной сущности акта управления, а затем и к постановке

вопроса о -природе тех реальных факторов или агентев, которые

этот акт осуществляют. Еще на докибернетическом этапе (в кон-

цепциях Сеченова и Павлова) было достаточно ясно, что адаптив-

ное приведение выхода, системы в соответствие с ее входом, кото-

 

рое и воплощает в себе существо акта управления, реализуется пу-

тем сигнализации о параметрах объектов действия и последующего

осуществления этими сигналами их командной функции по отноше-

нию к рабочему выходу. Но эта осведомительная и командная

функции сигналов не могли там рассматриваться как общий прин-

цип. Это оказалось возможным лишь средствами понятийного ап-

парата единой теории, которая обобщила упомянутые функции сиг-.

налов, объединив их понятием <информация>.

 

2. Природа информации

 

Как известно, значение слова <информация> преобразовалось

в общенаучный термин в разных областях и направлениях науки.

На первых этапах такого превращения наиболее широкое распро-

странение и эффективно работающее значение получил тот аспект

этого понятия, который шел из теории связи в ее шенноновском ва-

рианте. Однако теория и техника связи составляют хотя и чрезвы-

чайно важный, но лишь один из источников формирования общеки-

бернетической системы понятий. Логический вектор межнаучного

обобщения был здесь детерминирован гораздо более широким

и глубоким, чем рамки одной лишь теории связи, научным синте-

Н. Винера, которые определили характер именно общекибернетиче-

ского уровня обобщения по сравнению с той его более частной

ветвью, которая получила свое выражение и развитие в шеннонов-

ской теории связи. Так, анализируя истоки и мотивы развития тео-

рии сообщений (the theory of messages), Н. Винер пишет: <Помимо

электротехнической теории передачи сигналов, существует более

обширная область, включающая в себя не только исследования

языка, но и исследования сигналов (messages) как средств, управ-

ляющих машинами и обществом; сюда же относятся усовершенст-

вование вычислительных машин и других подобных автоматов, раз-

мышления о психологии и нервной системе и сравнительно новая

теория научного метода. Эта более широкая теория информации

представляет собой вероятностную теорию и является неразрывной

частью научного течения, обязанного своим происхождением Вил-

ларду Гиббсу...>,

Сформулированный здесь смысл общекибернетического и даже

общефизического обобщения в его отношении к аппарату теории

связи совершенно прозрачен и не нуждается в комментариях. Од-

нако преимущество шенноновской ветви развития этой общей

концепции вполне естественно и обоснованно. Оно определяется осо-

бой ролью и рабочей эффективностью количественных представле-

ний и аппарата измерения как научного метода. Однако разрабо-

танный Винером более общий собственно кибернетический кон-

текст имеет решающее значение для дальнейших ходов развития

 

Винер Н. Кибернетика и общество. М" 1958, с. 29. (Курсив наш.-

Л. В.)

 

 

понятийного аппарата, в особенности в его применении к области

биологических систем и, в частности, к анализу психической дея-

тельности. Поэтому и шенноновский количественно-статистический

аспект понятия информации рассматривается здесь в более общем

контексте - именно как частная форма и необходимый важнейший

компонент этого общего подхода.

Существо общекибернетического подхода, выраженное, как упо-

миналось, уже в его психонейрофизиологических предпосылках,

требует раскрытия природы сигналов не только как средства связи.

системы с внешней средой, но и как фактора управления, органи-

зующего ответные реакции системы на воздействия этой среды.

<Информация,-пишет Н. Винер,-это обозначение содержания,

полученного из внешнего мира в процессе нашего приспособления

к нему и приспосабливания к нему наших чувств. Процесс получе-

ния и использования информации является процессом нашего при-

способления к случайностям внешней среды и нашей жизнедея-

тельности в этой среде... Действенно жить-это значит жить, рас-

полагая правильной информацией. Таким образом, сообщение и уп-

равление точно так же связаны с самой сущностью человеческого

существования, как и с жизнью человека в обществе>

Поскольку общая природа информации органически связана

с управлением, а управление заключает в себе согласование рабо-

чего эффекта системы со свойствами источника информации, на ко-

торый рабочий эффект направлен, общекибернетический подход

к природе информации не может абстрагироваться от принципа

структурных соотношений между состояниями ее носителя и ее

источника. Именно такова сущность общефизического контекста,

в котором Винер использует понятие <информация>, не случайно

возводя его истоки к гиббсовской статистической физике и связы-

вая характеристику информации с природой физической энтропии.

Отсюда вытекает данное Н. Винером определение сигналов как

<формы модели (pattern) или организацди>.

Понятие организации по своему исходному общему смыслу со-

держит не только количественную меру, но и качественную харак-

теристику. Исходя из всего этого, общекибернетический <абстракт>,

выражающий принципиальное существо информационных процес-

сов и являющийся исходным пунктом дальнейшего анализа, дол-

жен заключать в себе возможности конкретизировать и качествен-

но-структурные и количественные параметры информации. С дру-

гой стороны (в силу иерархической структуры понятийного

обобщения), сам этот общекибернетический абстракт должен, по-

видимому, потенциально содержать в себе результат возможной кон-

кретизации тех общефизических статистико-термодинамических по-

ложений Гиббса и Больцмана, к которым Винер возводит логиче-

ские начала понятий информации и управления.

 

Там же, с. 31. (Курсив наш.-Л. В.

° Там же, с. 34.

 

Понятие организации, которое расположено на вершине этой

категориальной пирамиды, по своему исходному смыслу предпола-

гает систему или множество элементов, находящихся в определен-

ных отношениях между собой. Поскольку вместе с тем Н. Винер

понимает организацию как модель (pattern), в этом контексте речь

идет не о собственной, внутренней организации информационного

процесса, а об организации сигнала как модели по отношению

к источнику информации как оригиналу.

Действительно, специфичность кибернетического понятия орга-

низации по сравнению с его более общим, физическим содержани-

ем состоит в том, что предметом рассмотрения здесь является вза-

имная организация или отношение двух множеств элементов. Пер-

вое, исходное множество представлено совокупностью элементов

источника информации, воздействующего на ее носителя. В этом

случае элементами множества могут служить как вещественные,

<субстанциальные> компоненты источника или просто его состав-

ные части, так и его изменяющиеся состояния, например изменяю-

щиеся состояния освещенности или звукового давления. Второе же

множество представлено совокупностью состояний носителя ин-

формации.

Исходя из этого в настоящем контексте рабочее определение ин-

формации в первом приближении может быть сформулировано так:

информация представляет собой воспроизведение множеством со-

стояний ее носителя пространственно-временной упорядоченности

множества состояний ее источника, воздействующего на носитель.

Именно эта адекватная источнику упорядоченность множества фи-

зических состояний носителя позволяет последнем,у, если он исполь-

зуется в качестве регулятора, приводить исполнительные реакции

системы управления в соответствие с особенностями источника ин-

формации, служащего агентом и объектом этих реакций.

В противоположность природе информации и сигнала как ее

структурной единицы, воплощенной в определенном физическом

процессе, природа.всякой помехи, или шума, состоит не в чем ином,

как именно в нарушении адекватной своему источнику упорядо-

ченности множества состояний носителя. Соответственно, выделение

сигнала из шума-основная проблема передачи информации по

каналу связи и контуру регулирования заключается в вы-

членении адекватной источнику упорядоченности состояний но-

сителя из беспорядка случайных внешних и внутренних воздей-

ствий.

Именно своей упорядоченностью информация противостоит фи-

зической энтропии как выражению беспорядочности и противо-

действует общей тенденции к возрастанию энтропии. Информация,

по словам Н. Винера, дает возможность управляющей системе до-

стичь <специфических антиэнтропических целей>. Этим опре-

деляется сущность всякого адаптивного поведения и целена-

правленной деятельности живого организма или технического уст-

ройства.

Таково в основных чертах именно общекибернетическое содер-

 

 

жание понятия <информация>, потенциал-ьно включающее в себя

основные: аспекты отношения сигнала к его источнику, носителю

и управляемому действию.

Следующий шаг анализа требует актуального выделения и кон-

кретизации этих основных аспектов.

Прежде всего, исходя как из общих соображений, так и из з-а-

дач исследования психических процессов, такому выделению и от-

носительному обособлению подлежат количественный и качествен-

ный аспекты отношения сигнала информации к ее источнику.

Понятие информации как упорядоченности множества состоя-

ний ее носителя адекватно множеству состояний ее источника от-

крывает возможность конкретизировать его в обоих этих аспектах

соответственнокак меру и форму этой взаимной упорядоченности.

>"

 

3. Количество информации как мера упорядоченности

сигнала

 

Сущность количественной характеристики информации, или про-

сто количества информации, именно как меры упорядоченности за-

ключена уже в исходной трактовке связи информации с физиче-

ской энтропией. <Как энтропия,-пишет Н. Винер,--есть мера дез-

организации, так и передаваемая рядом сигналов информация яв-

ляется мерой организации>

Как и в случае физической энтропии, возможности определения

этой меры в числовых величинах здесь даются законами случайных

событий. Поскольку степень случайности измеряется вероятностью

и теория вероятностей представляет собой именно теорию слу-

чайных событий, меры организации, или упорядоченности, как

в физике, так и в теории информации являются вероятностно-ста-

тистическими. <Передаваемую сигналом информацию, - пишет

Н. Винер,-...возможно толковать как отрицание ее энтропии и как

отрицательный логарифм вероятности>

В настоящем контексте, подчиненном задачам психологической

теории, а также именно в данном пункте рассмотрения системы

кибернетических понятий целесообразно отметить следующее об-

стоятельство. В использовании статистических критериев для опре-

деления меры организации системы, взаимодействующей с внешней

средой, сомкнулись и привели к общему результату конкретизация

общекибернетических категорий и обобщение понятий, развивав-

шихся внутри психологической теории в ее бихевиористском вари-

анте. В главе, посвященной анализу понятийного состава основных

психологических концепций, было показано, что, введя в психоло-

гию категорию случайности, бихевиоризм привнес в концептуаль-

ный аппарат психологии количественную меру организации пове-

 

дения, купленную, однако, дорогой ценой полного абстрагирования

от специфики формы этой организации.

Пробы и ошибки, являющиеся эмпирическим выражением меры

организации поведения, являются величиной статистической. <Ошиб-

ки> животных в проблемных ящиках и лабиринтах бихевиорист-

ских исследований-это в некотором, более обобщенном смысле

также <ошибки измерений>. А аппарат статистической теории оши-

бок в значительной степени совпадает с общим теоретико-вероят-

ностным аппаратом определения колеблемости индивидуальных ва-

риант и исчисления средних величин. Не случайным и заслуживаю-

щим, по-видимому, упоминания в данном контексте является тот

факт, что закон нормального распределения установлен Гауссом

именно на анализе ошибок измерений.

Исходя из всего этого не будет, вероятно, большим преувеличе-

нием утверждение о том, что торндайковские кривые ошибок, за-

ключая в себе числовые меры организации поведения, содержат

вместе с тем предпосылки шенноновско-винеровской энтропии как

меры количества информации. И наоборот, современные статисти-

ческие меры количества информации как взаимной упорядоченно-

сти состояний ее носителя и источника представляют собой разви-

тую, обобщенную форму той первичной меры организации поведе-

ния, которая имплицитно содержалась во введенном бихевиори-

стами критерии ошибок.

Такая встреча и взаимное подкрепление историко-логических

ходов мысли по <оси времени>, проходящей через разные уровни

абстракции, дополнительно и надежно свидетельствует о внутрен-

них связях между общекибернетической и психологической тео-

риями.

Таким образом, внутри контекста общекибернетического пони-

мания информации как взаимной упорядоченности множеств со-

стояний ее носителя и источника выделяется количественный ас-

пект, выражающий меру этой упорядоченности.

В идеальных условиях отсутствия шумов, где упорядоченность

множества состояний источника полностью переходит в множество

состояний носителя, мера упорядоченности сигнала, или содержа-

щееся в нем количество информации, совпадает с мерой упорядо-

ченности множества состояний источника. В этом случае количест-

во информации в сигнале непосредственно измеряется величиной,

характеризующей упорядоченность источника, и поэтому, в силу

такого тождества количественных характеристик обоих множеств,

здесь практически речь может идти о мере упорядоченности одного

множества - исходного множества состояний или элементов ис-

точника информации. Степень упорядоченности множества зависит,

очевидно, от числа элементов множества или от длины алфавита

символов (состояний) и поэтому может измеряться числом этих

состояний (N) или его логарифмом (logV).

Но чем больше число элементов множества состояний источника,

тем в большей степени выражен случайный характер появления

каждого из них на входе канала связи или носителя информации,

 

 

и тем меньше, соответственно, вероятность каждого отдельного со-

стояния или отвечающего ему.символа алфавита:

 

\ogN=-\ogp=~logP.

 

Чем меньше вероятность каждого элемента множества состоя-

нии источника, тем большую неопределенность снимает его появ-

ление на входе в канал или в носитель информации.

Исходя из этих отношений, чем больше число элементов мно-

жества состояний источника, тем больше его неупорядоченность,

тем больше неопределенность, снимаемая каждым из этих элемен-

тов и отсюда-тем больше упорядоченность соответствующего

множества-сигнала относительно множества-источника. Поэтому

упорядоченность сигнала как множества состояний носителя и ко-

личество заключенной в этом сигнале информации можно измерять

неупорядоченностью множества состояний источника - обе меры

могут быть выражены одной и той же числовой величиной. Таковы

отношения между степенью упорядоченности множества, числом

его элементов, вероятностью каждого элемента множества, снимае-

мой им неопределенностью и количеством информации. Упорядо-

ченность множества измеряется вероятностью каждого из его эле-

ментов и соответственно снимаемой им неопределенностью. Коли-

чество индивидуальной информации, приходящейся на один эле-

мент или символ алфавита, равно отрицательному логарифму

вероятности появления данного элемента множества (или символа

алфавита).

Н = -log P. (1)

 

Поскольку, однако, количество информации, приходящееся на

каждый элемент множества, т. е. на один выбор, выступает как

мера упорядоченности множества элементов или всего алфавита

символов, она, очевидно, должна быть функцией вероятностей всех

N элементов множества Pi(i=l, 2, 3,..., N). При равной вероят-

ности всех элементов снимаемая каждым символом неопределен-

ность и, следовательно, его индивидуальная информация является

максимальной и в силу равенства всех Pi совпадает с усредненной

и тем самым характеризующей весь алфавит вероятностью, при-

ходящейся на один символ. Поэтому в данном случае отрицатель-

ный логарифм вероятности элемента множества является адекват-

ной мерой упорядоченности всего множества элементов или алфа-

вита символов. Для случая разной вероятности отдельных элемен-

тов множества или символов алфавита эта мера требует обобщения,

т. е. усреднения. Таким статистическим обобщением (или усредне-

нием) является мера Шеннона

1 =п

H=-PilogPi, (2)

i-i

которая представляет собой не что иное, как среднее по вероят-

ности, или математическое ожидание отрицательного логарифма

вероятности, приходящейся на один символ.

 

Совпадение приведенной выше усредненной меры количества

информации с формулой, выражающей термодинамическую энтро-

пию, которое вытекает из их фундаментальной общей связи со ста-

тистическими закономерностями организации, или упорядоченности,

дало основание Шеннону распространить общефизический термин

<энтропия> на величину количества информации, характеризую-

щую в этом случае упорядоченность множества состояний источни-

ка или носителя сигнала. В рассматриваемой идеальной ситуации




Поделиться с друзьями:


Дата добавления: 2015-06-27; Просмотров: 289; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.009 сек.