Математические модели открытого текста

Потребность в математических моделях открытого текста продиктована,

прежде всего, следующими соображениями. Во-первых, даже при отсутствии

ограничений на временные и материальные затраты по выявлению законо -мерностей, имеющих место в открытых текстах, нельзя гарантировать того, что такие свойства указаны с достаточной полнотой. Например, хорошо известно,

что частотные свойства текстов в значительной степени зависят от их характера.

Поэтому при математических исследованиях свойств шифров прибегают к упрощающему моделированию, в частности, реальный открытый текст заменяется его моделью, отражающей наиболее важные его свойства. Во-вторых, при автоматизации методов криптоанализа, связанных с перебором ключей, требуется "научить" ЭВМ отличать открытый текст от случайной последовательности знаков. Ясно, что соответствующий критерий может выявить лишь адекватность последовательности знаков некоторой модели открытого текста.

Один из естественных подходов к моделированию открытых текстов связан с учетом их частотных характеристик, приближения для которых можно вычислить с нужной точностью, исследуя тексты достаточной длины. Основанием для такого подхода является устойчивость частот к -грамм или целых словоформ реальных языков человеческого общения (то есть отдельных букв, слогов, слов и некоторых словосочетаний). Основанием для построения модели может служить также и теоретико-информационный подход, развитый в работах К. Шеннона.

Учет частот k-грамм приводит к следующей модели открытого текста. Пусть

Р^(k)(А) представляет собой массив, состоящий из приближений для вероятностей р(b₁,b₂,...,b_k) появления k-грамм b₁b₂...b_k в открытом тексте, k∈N,

А = (а₁,...,а_п) — алфавит открытого текста, b_i∈A, i = 1,k.

N – длина текста.

Тогда источник "открытого текста" генерирует последовательность

с₁,с₂,...,с_k,с_k+1,... знаков алфавита А, в которой k-грамма с₁с₂...с_k появляется с вероятностью р(с₁с₂...с_k) ∈ Р^(k) (А), следующая k-грамма с₁с₂...с_k+1 появляется с вероятность р(с₂с₃...с_k+1) ∈ Р^(k)(А) и т. д. Назовем построенную модель открытого текста вероятностной моделью k-го приближения.

Таким образом, простейшая модель открытого текста -вероятностная модель

первого приближения – представляет собой последовательность знаков с₁,с₂,..., в которой каждый знак c_i, i = 1,2,..., появляется с вероятностью р(с_i) ∈ P⁽¹⁾(A), независимо от других знаков. Будем называть также эту модель позначной моделью открытого текста. В такой модели открытый текст с₁с₂...с_l имеет вероятность

В вероятностной модели второго приближения первый знак с₁ имеет

вероятность р(с₁) ∈ P⁽¹⁾(A), а каждый следующий знак с_i зависит от предыдущего и появляется с вероятностью

где р(с_i-1с_i) ∈ Р⁽²⁾(А), р(с_i-1) ∈ Р⁽¹⁾(A), i = 2,3,....

Другими словами, модель открытого текста второго приближения представляет собой простую однородную цепь Маркова. В такой модели открытый текст с₁с₂...с_l имеет вероятность

Модели открытого текста более высоких приближений учитывают зависимость каждого знака от большего числа предыдущих знаков. Ясно, что чем выше степень приближения, тем более "читаемыми" являются соответствующие модели.

Критерии распознавания открытого текста

Заменив реальный открытый текст его моделью, можно построить критерий распознавания открытого текста. При этом можно воспользоваться либо стандартными методами различения статистических гипотез, либо наличием в открытых текстах некоторых запретов, таких, например, как биграмма ЪЪ в русском тексте. Проиллюстрируем первый подход при распознавании позначной модели открытого текста. Итак, открытый текст представляет собой реализацию независимых испытаний случайной величины, значениями которой являются буквы алфавита А = {а₁,...,а_п}, появляющиеся в соответствии с распределением вероятностей Р⁽¹⁾(А) = (р(а₁),...,р(а_п)). Требуется определить, является ли случайная последовательность с₁с₂...с_l букв алфавита А открытым текстом или нет. Пусть Н₀ — гипотеза, состоящая в том, что данная последовательность — открытый текст, Н₁ — альтернативная гипотеза. В простейшем случае последовательность c₁c₂...c_l можно рассматривать при гипотезе Н₁ как случайную и равновероятную. Эта альтернатива отвечает субъективному представлению о том, что при расшифровании криптограммы с помощью ложного ключа получается "бессмысленная" последовательность знаков. В более общем случае можно считать, что при гипотезе Н₁ последовательность c₁c₂...c_l представляет собой реализацию независимых испытаний некоторой случайной величины, значениями которой являются буквы алфавита А = {а₁,...,а_п}, появляющиеся в соответствии с распределением вероятностей Q^(l)(A)= (q(a_l),...,q(a_n)). При таких договоренностях можно применить какой либо критерий различения двух простых гипотез.

В силу своего вероятностного характера такой критерий может совершать ошибки двух родов. Критерий может принять открытый текст за случайный набор знаков. Такая ошибка обычно называется ошибкой первого рода, ее вероятность равна α = p{H₁/H₀}. Аналогично вводится ошибка второго рода и ее вероятность β = p{Н₀/Н₁}. Эти ошибки определяют качество работы критерия. В криптографических исследованиях естественно минимизировать вероятность ошибки первого рода, чтобы не "пропустить" открытый текст. Критерии на открытый текст, использующие запретные сочетания знаков, например, к -граммы подряд идущих букв, будем называть критериями запретных k-грамм. Они устроены чрезвычайно просто. Отбирается некоторое число s редких k-грамм, которые объявляются запретными. Теперь, просматривая последовательно k-грамму за k-граммой анализируемой последовательности c₁c₂...c_l, мы объявляем ее случайной, как только в ней встретится одна из запретных k-грамм, и открытым текстом в противном случае. Такие критерии также могут совершать ошибки в принятии решения. В простейших случаях их можно рассчитать. Несмотря на свою простоту, критерии запретных k-грамм являются весьма эффективными.

Дата добавления: 2015-06-04